爬虫案例：利用python爬虫关键词批量下载高清大图

环境： python3+pycharm+requests+re+BeatifulSoup+json

这个确实也属实有一些勉强，不少童鞋私信问我有木有 下载大图 的源码，我说可能会有，现在分享给大家。

当然对于一个图片平台来说，高质量图片下载可能是 其核心业务 ，并且我看了以下，那些高质量大图下载起来很贵！所以笔者并没有尝试付费下载然后查看大图的地址，因为这个可以猜想 成功率很低 ，并且成本比较高，退而求其次，笔者采取 以下几种方法 。

【ps：更多精彩案例视频，代码等学习资料加q群778463939免费获取】

对图虫平台初步分析之后，得到以下观点：

原版高质量无水印图片下载太贵，由于没付费下载没有找到高质量图的高清无水印原图真实地址。 没有办法(能力) 下载原版高清无水印。并且笔者也能猜测这个是一个网站的核心业务肯定也会层层设套。不会轻易获得, 所以并没有对付费高清高质量无水印图片穷追不舍 。

但是高质量展示图在预览时候的是可以查看带有水印的高清图的(带着图虫创意水印)。

网站有一些免费的高清大图图片可以获取到。虽然这个 不是精选图 ，但是 质量也还可以 ！

下载免费高清大图

在图虫创意有个板块的图片是免费开放的。在 共享图片 专栏。的图片可以搜索下载。

https://stock.tuchong.com/topic?topicId=37 图虫创意url地址

找到一张图片点进去，检查地址你可以直接访问得到。而有相关因素的就是一个 图片服务器域名 + 图片id 组成的 图片url地址 。也就是我们要批量找到这些图片的id。

在搜索界面查看源码，发现这个和前面的分析如出一辙，它的 图片id藏在js里面 。我们只需通过正则解析。 拿到id然后拼凑url即可完成所有图片地址 ，这个解析方式和上文基本完全一致，只不过是浏览器的URL和js的位置有相对的变化只需小量修改，然后直接爬虫下载保存即可！而这个搜索html的url就是 https://stock.tuchong.com/free/search/?term= + 搜索内容 。这个下载内容的实现在上一篇已经分析过。请自行查看或看下文代码！这样

下载带水印的精选图

好的图片都在 优选图片专栏 。然而这部分图片我们可以免费获取带水印的图片。

在登录账号之后点开的图片预览，当你 点开预览 的时候是可以看得到图片的。每张图片对应一个唯一ID，这个地址可以获得但是比较麻烦。我们尝试能不能获得一个 简单通用的url 地址呢？

经过尝试发现这个图片的url可以在我们 上面 的免费高清大图 url地址共用 ！也就是我们可以得到这个ID通过上个url来 批量获取下载图片 ！下载图片的方法一致不需要重复造轮子。而id的获取方法我们在下载高清小图就已经详细介绍过了也是一样的。那么分析就已经成功了，代码将在后面给出，这样我们可以下载带水印的高清大图了！

当然，就配图而言还是高质量图的质量高很多，如果可以接受的话可以使用。唯一缺点就是图创水印。

代码与总结

这样，整个流程就完成了，对于目录方面，我也对图虫有水印的和没水印的进行了区分，供大家使用。在使用方面，先输入1或2(1代表有水印高质量图，2代表共享图)，在输入关键词即可批量下载。