返回站点目录

包子哟

https://blog.bugjava.cn

练习 Bug 时长两年半的程序员。

综合

状态

状态正常

因为前不久刚租房子,今天心血来潮,想看看这么久了花了多少度电,然后打开今天的主角 Power Bee 蜂电智能电表管理系统 本来想看看每天用了多少电,点击更多居然要我开通VIP,这我能

Spring笔记

2022/05/01 07:34 · 包子哟

1.什么是Spring框架 它是一个容器.它是整合其它框架的框架.它的核心是

Windows11优化

2022/03/24 10:49 · 包子哟

优化下win11的某些不好用的东西

JQuery 笔记(二)

2021/05/18 07:44 · 包子哟

JQuery 高级 1. 动画 1. 三种方式显示和隐藏元素 1. 默认显示和隐藏

JQuery 笔记(一)

2021/05/16 11:58 · 包子哟

JQuery 基础: 1. 概念: 一个JavaScript框架。简化JS开发

MySQL学习笔记2

2021/04/17 06:38 · 包子哟

DQL:查询语句 1. 排序查询 * 语法:order by 子句 * order by

MySQL学习笔记1

2021/04/16 04:06 · 包子哟

数据库的基本概念 1. 数据库的英文单词: DataBase 简称 : DB 2. 什么数据库

解析神器xpath使用教程

2020/05/02 01:19 · 包子哟

介绍 XPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的 语言 ,可用来在 HTML\XML 文档中对 元素和属性进行遍历 。

爬取免费代理IP

2020/04/19 06:23 · 包子哟

介绍 每次爬网站的时候总是被一些网站的反爬机制给封IP,所以就需要一些代理IP,但是很多代理IP都要钱,不要钱的很多不能用,所以就写了这么个代码来爬取代理IP

爬取某网站小姐姐壁纸

2020/04/05 12:53 · 包子哟

介绍 美桌壁纸小姐姐壁纸爬取 准备 PYthon3.8(我用的是这个版本的) pycharm (其他的编辑器也可以) 模块:requests,parsel,os 思路 爬虫的思路 分析目标网页,确定爬取的url路径,headers参数 发送请求 – requests 模拟浏览器发送请求,获取响应数据 解析数据 – parsel 转化为Selector对象,Selector对象具有xpath的方法,能够对转化的数据进行处理 保存数据 步骤 第一步 确定爬取的url路径,headers参数 1 2 base_url = 'http://www.win4000.com/mobile_2340_0_0_1.html' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36' } User-Agent在浏览器的F12 Network里面获取(里面找到headers,在最下面就有你自己浏览器的User-Agent参数) 第二步 发送请求 – requests 模拟浏览器发送请求,获取响应数据 1 2 response = requests.get(base_url, headers=headers) data = response.text 第三步 解析数据 – parsel 转化为Selector对象,Selector对象具有xpath的方法,能够对转化的数据进行处理 1 2 html_data = parsel.Selector(data) data_list = html_data.xpath( '//div[@class="Left_bar"]//ul/li/a/@href|//div[@class="Left_bar"]//ul/li/a/@title' ).extract() 使用列表推导式对列表进行分组 1 data_list = [data_list[i:i + 2 ] for i in range ( 0 , len (data_list), 2 )] 创建图片的文件夹 1 2 3 if not os.path.exists( 'img\\' + file_name): os.mkdir( 'img\\' + file_name) print ( '正在下载:' , file_name) 发送详情页的请求,解析出总页数 1 2 3 response_2 = requests.get(html_url, headers=headers).text html_2 = parsel.Selector(response_2) page_num = html_2.xpath( '//div[@class="ptitle"]//em/text()' ).extract_first() 最后 构建相册翻页的url地址,解析每一页的图片url地址,保存数据 1 2 3 4 5 6 7 8 9 10 11 12 13 for url in range ( 1 , int (page_num) + 1 ): url_list = html_url.split( '.' ) all_url = url_list[ 0 ] + '.' + url_list[ 1 ] + '.' + url_list[ 2 ] + '_' + str (url) + '.' + url_list[ 3 ] response_3 = requests.get(all_url, headers=headers).text html_3 = parsel.Selector(response_3) img_url = html_3.xpath( '//div[@class="pic-meinv"]//img/@src' ).extract_first() img_data = requests.get(img_url, headers=headers).content # 图片的文件名 img_name = str (url) + '.jpg' # 保存数据 with open ( 'img\\{}\\' . format (file_name) + img_name, 'wb' ) as f: print ( '下载完成:' , img_name) f.write(img_data) 完整代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 import requests import parsel import os base_url = 'http://www.win4000.com/mobile_2340_0_0_1.html' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36' } response = requests.get(base_url, headers=headers) data = response.text html_data = parsel.Selector(data) data_list = html_data.xpath( '//div[@class="Left_bar"]//ul/li/a/@href|//div[@class="Left_bar"]//ul/li/a/@title' ).extract() data_list = [data_list[i:i + 2 ] for i in range ( 0 , len (data_list), 2 )] for alist in data_list: html_url = alist[ 0 ] file_name = alist[ 1 ] if not os.path.exists( 'img\\' + file_name): os.mkdir( 'img\\' + file_name) print ( '正在下载:' , file_name) response_2 = requests.get(html_url, headers=headers).text html_2 = parsel.Selector(response_2) page_num = html_2.xpath( '//div[@class="ptitle"]//em/text()' ).extract_first() for url in range ( 1 , int (page_num) + 1 ): url_list = html_url.split( '.' ) all_url = url_list[ 0 ] + '.' + url_list[ 1 ] + '.' + url_list[ 2 ] + '_' + str (url) + '.' + url_list[ 3 ] response_3 = requests.get(all_url, headers=headers).text html_3 = parsel.Selector(response_3) img_url = html_3.xpath( '//div[@class="pic-meinv"]//img/@src' ).extract_first() img_data = requests.get(img_url, headers=headers).content img_name = str (url) + '.jpg' with open ( 'img\\{}\\' . format (file_name) + img_name, 'wb' ) as f: print ( '下载完成:' , img_name) f.write(img_data) 说明:这个代码并不能爬取全站图片,详细的自己研究 好像不是特别全上传的时候似乎漏掉了几个 偶然发现pyinstaller这个模块,这个模块可以把py程序封装成exe程序,在没有py环境的电脑上也可以运行 想要的可以直接下载,exe软件下载地址–>

介绍 在某平台公开课上学了怎么用python爬取王者的全英雄皮肤海报图,然后自己敲了一遍,发现还不错,把图片全部都爬取下来了,本来想用来做壁纸,但是一看,实在太丑,然后。。然后就不知道这些图片能干啥了。现在就来分享一些爬取王者海报图的思路。

利用NodeJs本地部署UnblockNeteaseMusic

2020/03/30 01:54 · 包子哟

介绍 考虑到没有服务器,我在网上看见了Windows的一键启动方法,那么本文给大家带来一个一键启动的方法以及设置开启自启的方法。

使用宝塔安装UnblockNeteaseMusic

2020/03/29 08:47 · 包子哟

说明 UnblockNeteaseMusic是一款可以给你解除网易云音乐海外限制并解锁变灰(无版权)歌曲的工具,让你可以听取客户端任何的歌曲,而不受到限制,此前该类似工具挺多的,不过貌似都不维护或者失效了,这里提到的项目更新很频繁,支持Windows、MacOS、安卓、IOS等设备,所以就分享一下使用方法。