趁网站还在！用python把次元岛COS小姐姐图集批量下载~

嗨喽，大家好呀~这里是爱看美女的茜茜呐

开发环境:

• Python 3.10

• Pycharm

模块使用:

• requests >>> 数据请求模块

• re >>> 匹配提取数据

• os >>> 自动创建文件夹

如何安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

---

更多精彩机密、教程，尽在下方，赶紧点击了解吧~

python源码、视频教程、插件安装教程、资料我都准备好了，直接在文末名片自取就可

---

爬虫基本实现流程: 从单个数据/单页数据开始分析 -> 多个/多页的数据采集

一. 数据来源分析

1. 明确需求: 明确采集网站以及数据内容

   • 网址: http://ciyuandao.com/photo/show/132425

   • 数据: 图片链接 / 标题

2. 抓包分析: 通过浏览器开发者工具分析数据对应位置

   • 打开开发者工具: F12 / 右键点击检查选择network (网络)

   • 刷新网页: 让网页数据内容重新加载一遍

   • 点击Img, 查看图片链接数据 (单张图片链接)

     图片链接: http://img.ciyuandao.com//works/article/d581b9a921343dc7db308ace1432b468.jpg?x-oss-process=image/auto-orient,1/resize,m_lfit,w_1440/quality,q_100

   • 是否存在数据包: 包含了所有图片链接?

     通过关键字去搜索对应数据包位置

     关键字: 图片链接中一段内容

     • http://ciyuandao.com/photo/show/132425

二. 代码实现步骤

1. 发送请求 -> 模拟浏览器对于url地址发送请求

   模拟浏览器: 请求头

   请求网址: http://ciyuandao.com/photo/show/132425

   请求方法: get

2. 获取数据 -> 获取服务器返回响应数据 (整个网页的数据)

   开发者: 响应 response

3. 解析数据 -> 提取我们需要内容: 标题 / 图片链接

4. 保存数据 -> 获取图片内容, 保存本地文件夹

代码展示

导入模块

# 导入数据请求模块 第三方模块
import requests
# 导入正则表达式模块 内置模块
import re
# 导入文件操作模块 内置模块
import os

模拟浏览器

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

多页采集

'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
for page in range(2, 6):
    print(f'=========正在采集第{page}页的数据内容=========')

请求网址

    link = f'http://ciyuandao.com/photo/list/0-5-{page}'

发送请求

    link_data = requests.get(url=link, headers=headers).text

提取图集ID

    img_id_list = re.findall('', link_data)

for循环遍历, 提取列表中ID

    for img_id in img_id_list:

“”"

1. 发送请求 -> 模拟浏览器对于url地址发送请求

“”"

请求网址

        url = f'http://ciyuandao.com/photo/show/{img_id}'

发送请求

        response = requests.get(url=url, headers=headers)

“”"

2. 获取数据 -> 获取服务器返回响应数据 (整个网页的数据)

“”"

        html_data = response.text

“”"

3. 解析数据 -> 提取我们需要内容: 标题 / 图片链接

   • 正则表达式 re

     re.findall(‘数据’, ‘数据源’) -> 找到所有你想要的数据

     从什么地方, 去找什么数据

     从 html_data (网页数据) 中 去找这部分 (.?) - 次元岛 其中(.?)返回出来

“”"
标题

'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
        title = re.findall('', html_data)[0]

替换特殊字符

        new_title = re.sub(r'[\\/:*?"<>|]', '', title)

图片链接

        img_list = re.findall('', html_data)

根据图集标题, 自动创建文件夹

        filename = f'img\\{title}\\'

判断文件夹是否存在

        if not os.path.exists(filename):

自动创建文件夹

            os.makedirs(filename)
        print(title)

定义变量

        num = 1

for循环遍历, 提取列表里面所有元素

        for img in img_list:

“”"

4. 保存数据 -> 获取图片内容, 保存本地文件夹

“”"

对于图片链接发送请求, 获取图片内容

            img_content = requests.get(url=img, headers=headers).content

保存数据 -> 取名 (默认图片保存和代码放在一起)

            with open(filename + new_title + str(num) + '.jpg', mode='wb') as f:

写入数据内容

'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
                f.write(img_content)
            num += 1
            print(img)

图片展示

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦

希望本篇文章有对你带来帮助 ，有学习到一点知识~

躲起来的星星也在努力发光，你也要努力加油（让我们一起努力叭）。

最后，宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀