TuChong_Spider
偶然的机会在抖音看到这个APP,发现有很多高质量的手机壁纸和图片,对于一个爬虫初学者,这就非常美滋滋了,好多欧美小姐姐啊,哎嘿嘿....
图虫网共享图库爬虫, 通过抓取Ajax获取图片ID进行图片保存
爬取网站: https://stock.tuchong.com
爬取结果
运行环境:
- Python 3.5+
- Windows 10
- VSCode
如何使用
下载项目源码
`https://github.com/cexll/tuchong_Spider.git`
安装依赖
`$ pip install -r requirements.txt`
运行项目
```
$ python spider.py
输入想要搜索的内容: 少女
获取图片ID.....
解析imageID
存在ID,解析
解析HTML图片URL...
准备下载... //p3a.pstatp.com/weili/l/199813*************89.jpg
下载成功----------------------
拼接url访问网页
解析HTML图片URL...
准备下载... //p3a.pstatp.com/weili/l/189***********417.jpg
下载成功----------------------
拼接url访问网页
解析HTML图片URL...
准备下载... //p3a.pstatp.com/weili/l/1**************25.png
拼接url访问网页
解析HTML图片URL...
准备下载... //p3a.pstatp.com/weili/l/2***********62820.jpg
拼接url访问网页
解析HTML图片URL...
准备下载... //p3a.pstatp.com/weili/l/************2.jpg
拼接url访问网页
...
```
图片链接我就大码了,免得被打....
思路(前方高能,请流量党注意)
首先爬取一个网页,第一步,先打开这个网页(/滑稽,,,,
打开之后,先看看怎么搜索图片,下载图片的..
嗯~~,好看山山水水...(我是来干嘛的....
回到正题~
打开开发者工具(F12 或者右键 ,然后刷新
然后看一看有没有什么有用的东西....好像仔细找了找是没有发现什么有用的...怎么办呢?
好像真找不到了,怎么办?
网页往下翻一翻,,,,,
图片中间出现了个奸细....这就是我们需要的东西,,但是打开发现不对啊,怎么没有图片下载的链接??
哎,别慌,先去网页打开一个图片看看是什么结构的...
到这里我们发现了,网页url链接有个imageID=这东西,好像和之前找到个奸细内容是一样的,,,打开后发现的确是一样的
那么整体的结构就清楚了,先把刚才的奸细链接打开看看是什么
密集恐惧症都犯了,....仔细看了看,发现最开始都有`imageID`,那么思路就有了
通过访问奸细的链接得到每一页的`imageID`,在用 `https://stock.tuchong.com/free/image/?` + `imageID`就可以访问到图片了,好一气呵成
代码
总结
抓取所有的网页都是类似的思路,首先先通过人的逻辑去找到数据,在通过代码去得到,不要一来就上手代码,
细心的朋友肯定发现了,我们抓的是免费图库里的图片,是的,至于为什么不抓`优选图库`,`高端图库`,1是我也是才发现他们不一样,2是别人赚钱的生意我就这样发出来了万一被抓了怎么办....
有能力的可以自己去琢磨一下,我上次看了一下`imageID`这次是保存在HTML里面的,有点类似今日头条的
项目地址: https://github.com/cexll/tuchong_Spider