Python 3.10
Pycharm
requests >>> 数据请求模块
re >>> 匹配提取数据
os >>> 自动创建文件夹
如何安装python第三方模块:
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令
python源码、视频教程、插件安装教程、资料我都准备好了,直接在文末名片自取就可
一. 数据来源分析
明确需求: 明确采集网站以及数据内容
网址: http://ciyuandao.com/photo/show/132425
数据: 图片链接 / 标题
抓包分析: 通过浏览器开发者工具分析数据对应位置
打开开发者工具: F12 / 右键点击检查选择network (网络)
刷新网页: 让网页数据内容重新加载一遍
点击Img, 查看图片链接数据 (单张图片链接)
图片链接: http://img.ciyuandao.com//works/article/d581b9a921343dc7db308ace1432b468.jpg?x-oss-process=image/auto-orient,1/resize,m_lfit,w_1440/quality,q_100
是否存在数据包: 包含了所有图片链接?
通过关键字去搜索对应数据包位置
关键字: 图片链接中一段内容
二. 代码实现步骤
发送请求 -> 模拟浏览器对于url地址发送请求
模拟浏览器: 请求头
请求网址: http://ciyuandao.com/photo/show/132425
请求方法: get
获取数据 -> 获取服务器返回响应数据 (整个网页的数据)
开发者: 响应 response
解析数据 -> 提取我们需要内容: 标题 / 图片链接
保存数据 -> 获取图片内容, 保存本地文件夹
导入模块
# 导入数据请求模块 第三方模块
import requests
# 导入正则表达式模块 内置模块
import re
# 导入文件操作模块 内置模块
import os
模拟浏览器
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
多页采集
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
for page in range(2, 6):
print(f'=========正在采集第{page}页的数据内容=========')
请求网址
link = f'http://ciyuandao.com/photo/list/0-5-{page}'
发送请求
link_data = requests.get(url=link, headers=headers).text
提取图集ID
img_id_list = re.findall('', link_data)
for循环遍历, 提取列表中ID
for img_id in img_id_list:
“”"
“”"
请求网址
url = f'http://ciyuandao.com/photo/show/{img_id}'
发送请求
response = requests.get(url=url, headers=headers)
“”"
“”"
html_data = response.text
“”"
解析数据 -> 提取我们需要内容: 标题 / 图片链接
正则表达式 re
re.findall(‘数据’, ‘数据源’) -> 找到所有你想要的数据
从什么地方, 去找什么数据
从 html_data (网页数据) 中 去找这部分 (.?) - 次元岛 其中(.?)返回出来
“”"
标题
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
title = re.findall('(.*?) - 次元岛 ', html_data)[0]
替换特殊字符
new_title = re.sub(r'[\\/:*?"<>|]', '', title)
图片链接
img_list = re.findall('
', html_data)
根据图集标题, 自动创建文件夹
filename = f'img\\{title}\\'
判断文件夹是否存在
if not os.path.exists(filename):
自动创建文件夹
os.makedirs(filename)
print(title)
定义变量
num = 1
for循环遍历, 提取列表里面所有元素
for img in img_list:
“”"
“”"
对于图片链接发送请求, 获取图片内容
img_content = requests.get(url=img, headers=headers).content
保存数据 -> 取名 (默认图片保存和代码放在一起)
with open(filename + new_title + str(num) + '.jpg', mode='wb') as f:
写入数据内容
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
f.write(img_content)
num += 1
print(img)
感谢你观看我的文章呐~本次航班到这里就结束啦
希望本篇文章有对你带来帮助 ,有学习到一点知识~
躲起来的星星也在努力发光,你也要努力加油(让我们一起努力叭)。
最后,宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀