Python批量获取4K图片

---

前言

为了更好的掌握数据处理的能力，因而开启Python网络爬虫系列小项目文章。

1. 小项目小需求驱动，每篇文章会使用两种以上的方式（Xpth、Bs4、PyQuery、正则）获取想要的数据。
2. 博客系列完结后，将会总结各种方式。

---

一、需求

1. 批量爬取4k类型的图片
2. 下载到各类文件夹中

二、分析

1、Ctrl+U 查看网页源代码

$$$$$$4k各类型主页URL$$$$$$

$$$$$$4k各类型图片URL$$$$$$

2、进一步分析

• 获取各类型url，拼接主页url地址
• 请求各类型url，获取具体4k图片下载地址
• 访问4k图片下载地址下载资源

三、处理

Bs4 +正则处理

• 通过page.find_all(“div”, attrs={“class”:“nav-m clearfix tran”}) 找到该类属性的div
• 发现数据堆在一条中，利用正则获取url、title（通用方法.*?）

def get_4k_url(source_code):
    # 初始化bs4
    page = BeautifulSoup(source_code,"html.parser")
    info_4k = page.find_all("div", attrs={"class":"nav-m clearfix tran"})
    # 利用正则获取相关信息
    process = re.compile(r'(?P