python爬虫多线程实战:爬取美桌1080p壁纸图片

本人纯手工码字哦,请耐心看完,有信心可以带你完整学会这个实战案例

一、需求分析:

    1、下载 http://www.win4000.com/wallpaper.html 下指定分类 指定尺寸 的图片

    2、本地保存,单个文件夹的形势保存对应图片


二、技术点分析:

使用  python 3.6

1、 爬虫requests 

2、 多线程threading

3、文件io读写操作

4、xpath 提取url

5、 正则


三、实战

1、分析url :搞清楚各个url 的关联

http://www.win4000.com/wallpaper_205_0_10_1.html

URL中与分类的关系:

 wallpaper  : 桌面壁纸

       205    :壁纸分类     对应  大陆明星

        10    : 图片尺寸    对应  1920*1080

分析到这一部,我们知道 ,如果要需要其他类型的壁纸,只需要更改网站 分类 代码 就可以了

python爬虫多线程实战:爬取美桌1080p壁纸图片_第1张图片
图一

2、谷歌 charme ,通过右键检查 


python爬虫多线程实战:爬取美桌1080p壁纸图片_第2张图片
图二:chrame 浏览器右键提示


图三:按图顺利,依次找到对应的 html 标签

通过查看,我们发现 中间展示 的图片是由一个ul 标签包裹的 多个Li

我们所要跳转的链接 就在  Li 标签中, 这时就需要使用xpath进行数据的提取


到此,我们第一层url 的分析就完成了。可以写出以下 代码段

# url

base_url = "http://www.win4000.com/wallpaper_205_0_10_1.html"

# 自定义请求头

headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"

}

# 利用request 发出请求

resp= requests.get(url=base_url,headers=headers)

“”“

数据提取之lxml:安装方式:pip install lxml

1 导入lxml 的 etree 库 (导入没有提示不代表不能用)     `from lxml import etree`                 2 利用etree.HTML,将字符串转化为Element对象,Element对象具有xpath的方法,返回结果的列表,能够接受bytes类型的数据和str类型的数据                                                        示例:html = etree.HTML(text)                                                                                                      ret_list = html.xpath("xpath字符串")    

”“”

resp_html = etree.HTML(resp.text)  # resp的text 取得页面数据

#关键步骤,提取当前页面的子级 url ,也是 图三 中 第3步标注的位置。  此次使用xpath 相关知识点

li_list = resp_html.xpath('.//div[@class="Left_bar"]//ul[@class="clearfix"]') # 获取到 页面中的ul 

此时  通过xpath  获到当前页面中的  ul 中所有li 标签 了 

那单个明星的跳转链接只需要再次xpath 进行提取就Ok了。

# xpath 获取到 单个Li中的 url 和标题  并打印

for li in li_list:

    star_url = li.xpath('.//a/@href')

    star_name = li.xpath('.//a/@title')

    print(star_url, star_name)  # 打印查看

    print(len(star_url), len(star_name))  # 通过数据也能检查出,匹配的正确与否

    

完成到这里,你的代码 运行结果应该如下:是两个列表list

['http://www.win4000.com/wallpaper_detail_112165.html','http://www.win4000.com/wallpaper_detail_112023.html'] ['张卫健高清电脑桌面壁纸图片', '陈伟霆《一笔江湖》MV图片壁纸']

图4:运行结果

2、准备下载 图片

到这,完成第一步,你已经成功获到 每个明星的跳转链接 :

url:    http://www.win4000.com/wallpaper_detail_153895.html

我再次进行url 的分析:


图5:初步分析 

通过图5的分析,可以找到 这张图,是我们要 1080规格的。

但很可惜,一共9张,现在只能找到一张图片的url,

选其中两张图片地址对比:

http://pic1.win4000.com/wallpaper/2018-12-26/5c22eb195abe8.jpg

http://pic1.win4000.com/wallpaper/2018-12-26/5c22eb1c722dc.jpg

好像就是后面 文件名不同。如果一张张取是不是很麻烦?

不信你自己去试一下。哈哈


我点再分析一下页面,有个 【查看原图】 选项,点一下试试呢?

图6:查看原图点击处

点完发现了 url 的变化 

注意看之前的Url 是

http://www.win4000.com/wallpaper_detail_153895.html

点了【查看原图】之后 url 的变化

http://www.win4000.com/wallpaper_big_153895.html

发现没有,  只是地址栏 的detail 变成了 big 而已。


再看看有没有惊喜的地方 :

图7:url分析

通过图7的分析 ,我们发现原来 这个 big 页面 有我们想要的所有 1080P的图片,

而且,全是用ul 包裹,放到单个Li 标签中 。

那简单了,用之前的办法 再提取一次,就出来了。

代码如下:

# 还记得 前面的代码 运行结果么,是不是一个地址列表

“”“

star_url 里面 'http://www.win4000.com/wallpaper_detail_147191.html'

这样的url  我们第二步分析得出 把 detail 换成 big 就行

具体的代码操作如下:

”“”

for url in star_url:

    new_url = re.sub("detail", "big", url) # 替换连接

    # 得到了 新的url 再次 发送请求 (发现是不是和之前第一步做的还有点像)

    resp = requests.get(url=new_url, headers=headers)

    resp_html = etree.HTML(resp.text)    

    li_list = resp_html.xpath('//*[@id="picBox"]/ul[@class="cf"]')  # 取到ul 标签下的所有内容

    # 遍历li取出所有图片的地址    

    for li in li_list:        

        star_img_url = li.xpath('.//a/@href') # 获得名星1080图片

        star_img_name = li.xpath('.//a/img/@title') # 获得名星名字,用来后面设置为文件夹的名字

        print(star_img_url)  # 打印看看


到这里,我们第一步就完成了一页 24个明星 图片的地址url的爬取。第二步,完成了单个明星的1080图片地址url的爬取。

下一步,我们把图片保存到本地就顺利结束,

3、图片保存

按需求,要单独到一个文件夹内。

那我们就需要 在本地路径内 创建对应的文件夹。 此处使用  star_img_name 列表中的值

需要使用到i/o读写操作

# 创建文件夹

ospath = star_img_name[0]  # 取列表中的 标题做为文件夹名字

if not os.path.exists(ospath):

        os.makedirs(ospath)

# 遍历图片链接 ,并输出到  本地文件夹内

for url in star_img_url:

    resp_context = requests.get(url=url, headers=headers)

    index = star_img_url.index(url)  # 用下标做为图片的标题

    path = ospath + "/" + str(index) + ".jpg" # 构建图片保存路径

    with open(path, 'wb+') as f:

            f.write(resp_context.content)

顺利完成 这个需求:

图8:是不是看到了想的结果

代码运行结果与我不同,那看一眼我的源码:

python爬虫多线程实战:爬取美桌1080p壁纸图片_第3张图片
图9:初步实现代码

运行起来是不是很慢(完善版使用多线程),而且这样看代码,是不是有种:干干巴巴的,麻麻咧咧的,一点都不圆润,盘他!!

python爬虫多线程实战:爬取美桌1080p壁纸图片_第4张图片
图10.1完善版


python爬虫多线程实战:爬取美桌1080p壁纸图片_第5张图片
图10.2完善版

完善版 是 可以完成可选分类,可选规格 ,多线程版。


希望这个小实战案例可以帮到大伙。


喜欢的话,多多点赞哈

你可能感兴趣的:(python爬虫多线程实战:爬取美桌1080p壁纸图片)