Scrapy-Redis创建分布式爬虫

Scrapy-Redis分布式爬虫组件

Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy-Redis，这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行分布式。可以充分的利用资源（多个ip、更多带宽、同步爬取）来提高爬虫的爬行效率。

分布式爬虫的优点

1. 可以充分利用多台机器的带宽。
2. 可以充分利用多台机器的ip地址。
3. 多台机器做，爬取效率更高。

分布式爬虫必须要解决的问题

1. 分布式爬虫是好几台机器在同时运行，如何保证不同的机器爬取页面的时候不会出现重复爬取的问题。
2. 同样，分布式爬虫在不同的机器上运行，在把数据爬完后如何保证保存在同一个地方。

安装：

通过pip install scrapy-redis即可安装。

Scrapy-Redis架构

Scrapy架构图：

Scrapy-Redis架构图

Scrapy-Redis流程简介：

1. 首先Slaver端从Master端拿任务（Request、url）进行数据抓取，Slaver抓取数据的同时，产生新任务的Request便提交给 Master 处理；

2. Master端只有一个Redis数据库，负责将未处理的Request去重和任务分配，将处理后的Request加入待爬队列，并且存储爬取的数据。

   Scrapy-Redis默认使用的就是这种策略，我们实现起来很简单，因为任务调度等工作Scrapy-Redis都已经帮我们做好了，我们只需要继承RedisSpider、指定redis_key就行了。

   缺点是，Scrapy-Redis调度的任务是Request对象，里面信息量比较大（不仅包含url，还有callback函数、headers等信息），

   可能导致的结果就是会降低爬虫速度、而且会占用Redis大量的存储空间，所以如果要保证效率，那么就需要一定硬件水平。

分布式爬虫架构图：

以上两个图片对比我们可以发现。Item Pipeline在接收到数据后发送给了Redis、Scheduler调度器调度数据也是从Redis中来的、并且其实数据去重也是在Redis中做的。

scrapy-redis键名介绍

scrapy-redis中都是用key-value形式存储数据，其中有几个常见的key-value形式：

1. “项目名:items” -->list 类型，保存爬虫获取到的数据item 内容是 json 字符串

2. “项目名:dupefilter” -->set类型，用于爬虫访问的URL去重 内容是 40个字符的 url 的hash字符串

3. “项目名: start_urls” -->List 类型，用于获取spider启动时爬取的第一个url

4. “项目名:requests” -->zset类型，用于scheduler调度处理 requests 内容是 request 对象的序列化 字符串

编写Scrapy-Redis分布式爬虫

要将一个Scrapy项目变成一个Scrapy-redis项目只需修改以下三点就可以了：

1. 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider；
   或者是从scrapy.CrawlSpider变成scrapy_redis.spiders.RedisCrawlSpider。

   代码：

   from scrapy_redis.spiders import RedisSpider
   
   # class RedisDemoSpider(scrapy.Spider):
   class RedisDemoSpider(RedisSpider):
   	pass
   

2. 将爬虫中的start_urls删掉。增加一个redis_key=“xxx”。这个redis_key是为了以后在redis中控制爬虫启动的。爬虫的第一个url，就是在redis中通过这个发送出去的。
   代码：

   # class RedisDemoSpider(scrapy.Spider):
   class RedisDemoSpider(RedisSpider):
       ...
       # start_urls = ['https://www.fang.com/SoufunFamily.htm']
       redis_key="redis_demo:start_urls"
       ...
   

3. 在配置文件中setting.py增加如下配置：
   Scrapy-Redis相关配置

   • 使用了scrapy_redis的调度器，在redis里分配请求，确保request存储到redis中,

         SCHEDULER = "scrapy_redis.scheduler.Scheduler"
     

   • 必须). 使用了scrapy_redis的去重组件，在redis数据库里做去重，确保所有爬虫共享相同的去重指纹

         DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
     

   • (必须). 通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中，供后面的分布式处理item 这个已经由 scrapy-redis 实现，不需要我们写代码，直接使用即可

       ITEM_PIPELINES = {
     	  'scrapy_redis.pipelines.RedisPipeline': 300
       }
     

   • (可选) 在redis中保持scrapy-redis用到的队列，不会清理redis中的队列，从而可以实现暂停和恢复的功能。

         SCHEDULER_PERSIST = True
     

   • (必须). 指定redis数据库的连接参数

         REDIS_HOST = '127.0.0.1'
         REDIS_PORT = 6379
     

   代码

   # (必须). 使用了scrapy_redis的调度器，在redis里分配请求
   SCHEDULER = "scrapy_redis.scheduler.Scheduler"
   # (必须). 使用了scrapy_redis的去重组件，在redis数据库里做去重
   DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
   # (必须). 通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中，供后面的分布式处理item 这个已经由 scrapy-redis 实现，不需要我们写代码，直接使用即可
   ITEM_PIPELINES = {
       'scrapy_redis.pipelines.RedisPipeline': 300
   }
   # (可选). 在redis中保持scrapy-redis用到的各个队列，从而允许暂停和暂停后恢复，也就是不清理redis queues
   SCHEDULER_PERSIST = True
   # (必须). 指定redis数据库的连接参数
   REDIS_HOST = '127.0.0.1'
   REDIS_PORT = 6379
   

运行爬虫：

1. 在爬虫服务器上。进入爬虫文件所在的路径，然后输入命令：

       scrapy runspider [爬虫名字]。
   

2. 在Redis服务器上，推入一个开始的url链接：

   redis-cli> lpush [redis_key] start_url
   

   例如：start_url 为 https://www.jianshu.com/
   咋在Redis服务器上输入 ：

   redis-cli> lpush redis_demo:start_urls https://www.jianshu.com/