python爬虫福利:带你爬取妹子图上的美女图片,学习改变生活

学习python爬虫,总得实战演练一下才能真正有所收获。今天我们就来用python爬虫爬取妹子图,哇~全是美女哦!那么,我们步入正题吧!

看完这篇文章,你将会用python爬虫做到这样:

python爬虫福利:带你爬取妹子图上的美女图片,学习改变生活_第1张图片
image

首先我们打开萌妹子的入口链接,然后我们需要分析下网页中结构,通过分析页面,获取我们有用的内容。

python爬虫福利:带你爬取妹子图上的美女图片,学习改变生活_第2张图片
image

首先我们看这个url地址的组成,可以分析得出,这个url组成中包含一个分类,这里显示的是cute,那么我们如果使用python爬虫构建这个url的时候替换这个部分,就可以访问不同的图片分类,从而获取我们想要的类型。

python爬虫福利:带你爬取妹子图上的美女图片,学习改变生活_第3张图片
image

在url组成中还有数字,这个数字内容我们可以简单推测出是页码,实际上它确实是页码,在翻页之后这个数值会发生变化。

分析完成url地址组成之后,我们就知道如何选择分类、如何控制翻页了,这个时候就可以正式开始了。还是使用我们最简单的python中的request库来进行爬虫。

python爬虫福利:带你爬取妹子图上的美女图片,学习改变生活_第4张图片
图片.png

该网站有反爬虫的限制,但是却是相当low的限制,直接设置头部信息即可突破。我们使用了xpath定位图片信息,这是在python爬虫中常用的一种定位方式。获取到url地址之后,下载图片都是很简单的操作,获取二进制序列写入文件中就好了。

python爬虫福利:带你爬取妹子图上的美女图片,学习改变生活_第5张图片
image

然后,我们就开开心心的享受python爬虫的成果吧~~
作者:beauty时节

你可能感兴趣的:(python爬虫福利:带你爬取妹子图上的美女图片,学习改变生活)