Python爬虫实战，requests模块，Python实现抓取某站美女壁纸

前言

利用Python爬取回车桌面壁纸壁纸，废话不多说。

让我们愉快地开始吧~

开发工具

Python版本： 3.6.4

相关模块：

requests模块；

re模块

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

思路分析

目标网址
https://mm.enterdesk.com/dalumeinv/1.html

进入网站后下拉即可看到以下内容：

点击任意图片，进入图片详情页，里面为一组图片，包含大图和缩略图：

此网页禁止鼠标右键，按ctrl+u进行查看网页源代码，发现图片链接可在网页源代码中获取；每张图片有两条链接，对比两条链接发现其中一条多了参数_360_360，而没有此参数的链接为高清原图，另一条为标清图！

详情页是由首页链接进入的，我们再退到首页，按ctrl+u进行查看网页源代码；发现网页源代码中存在进入详情页的链接，由此可推断首页和详情页都为静态加载的网页！

在首页下拉网页，发现其会不断加载数据，但网址却没有发生变化：

但单独点击下方翻页操作，网址会发生变化：

由此可见，进行翻页操作我们只需要更改网址的参数即可：

https://mm.enterdesk.com/dalumeinv/1.html
https://mm.enterdesk.com/dalumeinv/2.html
https://mm.enterdesk.com/dalumeinv/3.html

核心代码

def main(html_url): # 传入首页url
    response = get_response(html_url) # 请求函数接收首页url并请求数据
    urls = re.findall('.*?', response.text)[31:47] # 提取详情页url
    for link in urls:
        response_ = get_response(link)# 请求函数接收详情页url并请求数据
        image_url = re.findall('src="(https://up.enterdesk.com/edpic/.*?)"', response_.text)[1:] # 提取图片url
        url_data(image_url) # 返回图片url

删选数据

完整源码可以私信获取

数据保存本地