Python批量采集coser美图，新鲜热乎的~

人生苦短 我用python

COS是英文Costume的简略写法，其动词为COS，而玩COS的人则一般被称为COSER(有时也称为cosplayer）。从一般意义上来说的COSPLAY最早的中文译名是出自台湾，意思是指角色扮演。

本文源码:点击此处跳转文末名片获取

开发环境:

• Python 3.8
• Pycharm

模块使用

• requests
• parsel

思路解析

1. 发送请求, 对于图集目录页发送请求

2. 获取数据, 获取服务器返回响应数据

3. 解析数据, 提取我们想要 图集详情页url地址

4. 保存数据, 把图片内容 保存本地文件夹

代码解析

import requests
import parsel
import re
import os.path

for page in range(2, 450):
    print(f'正在采集第{page}页的数据内容')

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)
    print(response)
    selector = parsel.Selector(response.text)

    href = selector.css('.pics ul li .tits::attr(href)').getall()

    for index in href:#for循环遍历 提取列表元素

发送请求

index_data = requests.get(url=index_url, headers=headers).text

解析数据

        index_selector = parsel.Selector(index_data)

提取图片链接

        img_url_list = index_selector.css('.talk_pic img::attr(src)').getall()
               title = index_selector.css('.border_bottom::text').get()
         new_title = title = re.sub(r'[\/:*?"<>|]', '', title)

保存数据

        num = 1
        file = f'img\\{new_title}\\'
        if not os.path.exists(file):
            os.makedirs(file)
        for img_url in img_url_list:
            img_content = requests.get(url=img_url, headers=headers).content
            with open(file + new_title + str(num) + '.jpg', mode='wb') as f:
                f.write(img_content)
                num += 1
            print(title, img_url)

最后效果展示

---

问题解答 · 源码获取 · 技术交流 · 抱团学习请联系