使用Scrapy爬取百度图片

最近在做毕业设计，需要从网上下载图片，就研究了一下怎么使用Scrapy来爬取百度图片。任务很简单，拿到图片的url。现在进入百度图片，默认都是懒加载的（可以调回翻页模式），就是往下翻页面，当没有图片时候，就会发起一个请求，然后返回一个响应里面包含了即将展示图片的url，如此循环。

1. 环境配置和储备知识

我的环境是Mac OS，安装了Anaconda，这个是真的好用没话说，再也不用烦琐python环境了，安装各种需要的库在终端输入命令即可。关于这个可以在网上搜索，很有必要细入了解一下。然后就是安装Scrapy引擎了，命令行直接conda install scrapy后即可，详细内容自己搜索。当然你之前已有python环境并通过其他方法配置好scrapy就不用管这些了。
关于scrapy的相关知识可以参考官方文档，英语基础不好的话，网上也有大量博客可以参考。我就不在累述。

2. 分析百度图片

打开开发者工具（我用的Chrome）后，搜索柯南，仔细观察右边的窗口，其中有一个返回json里面就包含了图片的url。

image.png

把返回的json内容复制到在线json解析工具里，看一下结构。可以看到data字段是一个数组，每一项里包含了图片的一些信息，当然，主要包含url即可。可以看到有thumbURL和middleURL等，根据自己需要选一个，就是图片尺寸不同。

image.png

OK，我们已经知道了怎么拿到图片的url了，我们回过头再来分析之前那个请求连接，向下翻网页，每次请求的时候我们复制一下连接看一下。

image.png

可以看到pn这个参数在有规律的叠加。其实你把这个连接复制到浏览器看一下，返回的json包含即将展示的图片，大概30张。所以我们需要请求更多张图片，就直接爬取多个连接，参数自己设置，按照这个规律来。

3. 编写爬虫

关于下载图片和文件，Scrapy已经帮我们做了很多的工作，以致于你只要写少量的代码即可。
新建Scrapy项目（我就命名CrawlPictures了），然后新建spider（我就命名image了），在Items.py文件中修改自己的Item，新建一个属性存储图片url。

class CrawlpicturesItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    IMG_URL = scrapy.Field()

接着编写爬虫，为了方便爬取多个关键字，我在spiders目录下新建了一个keys.json文件用来配置即将爬取的关键字。

image.png

下面是我的爬虫image的代码，在构造函数__init__的时候，我让它读取到keys.json里的关键字信息，然后每个关键字去构建几个请求（一个请求大概30张，前面分析的），你想下载更多的直接更改range(0, 61, 30)。然后把所有的连接存到spider的start_urls属性里。在parse函数里，对于每一个图片url，新生成一个item，赋值图片的url给item属性IMG_URL。剩下的事就交给引擎。

import scrapy
import json
from CrawlPictures.items import CrawlpicturesItem

class ImageSpider(scrapy.Spider):
    name = 'image'
    allowed_domains = ['image.baidu.com']

    def __init__(self):
        super(ImageSpider, self).__init__()
        with open("CrawlPictures/spiders/keys.json", 'r') as file_keys:
            keys = json.load(file_keys)
            for key in keys["keys"]:
                for pn in range(0, 61, 30):
                    url = 'http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&queryWord={word}&word={word}&pn={pn}'.format(word=key, pn=pn)
                    self.start_urls.append(url)

    def parse(self, response):
        images = json.loads(response.body)['data']
        for image in images:
            item = CrawlpicturesItem()
            try:
                item['IMG_URL'] = [image['middleURL']]
                yield item
            except Exception as e:
                print(e)
    

最后，我们就要配置pipeline的一些设置了，Scrapy提供了处理图片的'pipeline'。我们只需打开它。并设置处理图片的一些设置。打开settings.py文件。

#打开image pipeline
ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 1
}
#IMG_URL是在item.py文件中添加的图片的url属性
IMAGES_URLS_FIELD = 'IMG_URL'
#设置存放图片的路径
IMAGES_STORE = './filepath'

4. 执行和结果

终端执行命令scrapy crawl image。可以看到图片已经爬取下来了。

image.png

5. 注意

我并没有爬取很多图片，然而我一直在测试，结果就被反爬取机制给限制了，爬取不到图片了。这个需要在settings.py文件里设置一下USER_AGENT。网上搜一下，有很多解决办法。
我也是看了官方文档，并从网上搜寻很多博客参考（链接1）（链接2）。感谢所有为别人学习提供方便的人。以后有时间多学习Scrapy再写写文章。