Python爬虫案例展示：实现花猫壁纸数据采集

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取

环境使用:

• Python 3.10

• Pycharm

模块使用:

• import requests >>> pip install requests

win + R 输入cmd 输入安装命令 pip install requests 安装即可

爬虫实现基本流程:

一. 数据来源分析: 从单个数据 -> 多个数据

1. 明确需求: 明确采集的网站以及数据内容
    网址: huamaobizhi.com/
    数据: 壁纸图片(链接地址 下载地址)
2. 抓包分析: 浏览器开发者工具
    - 打开开发者工具: F12
    - 刷新网页
    - 找壁纸图片链接
        分辨率不高: https://img3.huamaocdn.com/upload/bizhi/images-wallpaper/1000w680h/202401231326538234.jpg
    - 下载地址:
        请求网址: https://huamaobizhi.com/normal-download/
        请求方法: POST
        请求参数:
            wallpaperId: 66919

二. 代码实现步骤

1. 发送请求
2. 获取数据
3. 解析数据
4. 保存数据

代码展示

导入模块

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
# 导入数据请求模块
import requests

模拟浏览器

headers = {
    # User-Agent 用户代理, 表示浏览器基本身份信息
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

多页获取

for page in range(3, 223):

列表页面请求网址

    link = f'https://huamaobizhi.com/pictures/?category=377&page={page}&orientation=0&order_by=0&time_range=0&size=0&purity=0&remember_filter=1&lang=zh-CN&request=data'

发送请求

    json_data = requests.get(url=link, headers=headers).json()

键值对取值

    results = json_data['results']

for循环遍历

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
    for index in results:
        # 标题
        title = index['tit']
        # 壁纸ID
        img_id = index['id']
        print(title, img_id)

请求网址 (下载图片的地址)

        url = 'https://huamaobizhi.com/normal-download/'

请求参数

        data = {
            'wallpaperId': img_id
        }

发送请求

        response = requests.post(url=url, data=data, headers=headers)

获取数据: 直接获取图片二进制数据

        img_content = response.content

保存数据

        with open(f'img\\{title}_{img_id}.jpg', mode='wb') as f:
            f.write(img_content)

尾语

最后感谢你观看我的文章呐~本次航班到这里就结束啦

希望本篇文章有对你带来帮助 ，有学习到一点知识~

躲起来的星星也在努力发光，你也要努力加油（让我们一起努力叭）。

最后，宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀