分布式爬虫:Scrapy-Redis

Scrapy是一个框架,他本身是不支持分布式的。如果我们想要做分布式的爬虫,就需要借助一个组件叫做Scrapy-Redis,这个组件正是利用了Redis可以分布式的功能,集成到Scrapy框架中,使得爬虫可以进行分布式。可以充分的利用资源(多个ip、更多带宽、同步爬取)来提高爬虫的爬行效率。

分布式爬虫的优点:

  1. 可以充分利用多台机器的带宽
  2. 可以充分利用多台机器的ip地址
  3. 多台机器做,爬取效率更高

分布式爬虫必须要解决的问题:

  1. 分布式爬虫是好几台机器在同时运行,如何保证不同的机器爬取页面的时候不会出现重复爬取的问题
  2. 同样,分布式爬虫在不同的机器上运行,在把数据爬完后如何保证保存在同一个地方

安装:

通过pip install scrapy-redis即可安装

Scrapy-Redis架构:

Scrapy架构图:

分布式爬虫:Scrapy-Redis_第1张图片

Scrapy-Redis架构图:

分布式爬虫:Scrapy-Redis_第2张图片

我们可以发现,Item Pipeline在接收到数据后发送给了Redis、Scheduler调度器调度数据也是从Redis中来的、并且其实数据去重也是在Redis中做的

Scrapy-Redis流程简介:

  1. 首先Slaver端从Master端拿任务(Request、url)进行数据抓取,Slaver抓取数据的同时,产生新任务的Request便提交给 Master 处理;

  2. Master端只有一个Redis数据库,负责将未处理的Request去重和任务分配,将处理后的Request加入待爬队列,并且存储爬取的数据。

    Scrapy-Redis默认使用的就是这种策略,我们实现起来很简单,因为任务调度等工作Scrapy-Redis都已经帮我们做好了,我们只需要继承RedisSpider、指定redis_key就行了。

    缺点是,Scrapy-Redis调度的任务是Request对象,里面信息量比较大(不仅包含url,还有callback函数、headers等信息),可能导致的结果就是会降低爬虫速度、而且会占用Redis大量的存储空间,所以如果要保证效率,那么就需要一定硬件水平。

分布式爬虫架构图:

分布式爬虫:Scrapy-Redis_第3张图片

分布式爬虫:Scrapy-Redis_第4张图片

scrapy-redis键名介绍

scrapy-redis中都是用key-value形式存储数据,其中有几个常见的key-value形式:

  1. “项目名:items” -->list 类型,保存爬虫获取到的数据item 内容是 json 字符串

  2. “项目名:dupefilter” -->set类型,用于爬虫访问的URL去重 内容是 40个字符的 url 的hash字符串

  3. “项目名: start_urls” -->List 类型,用于获取spider启动时爬取的第一个url

  4. “项目名:requests” -->zset类型,用于scheduler调度处理 requests 内容是 request 对象的序列化 字符串

编写Scrapy-Redis分布式爬虫

要将一个Scrapy项目变成一个Scrapy-redis项目只需修改以下三点就可以了:

  1. 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider
    或者是从scrapy.CrawlSpider变成scrapy_redis.spiders.RedisCrawlSpider

    代码片段:

    from scrapy_redis.spiders import RedisSpider
    
    # class RedisDemoSpider(scrapy.Spider):
    class RedisDemoSpider(RedisSpider):
        pass
    
  2. 将爬虫中的start_urls删掉,增加一个redis_key=“xxx”,这个redis_key是为了以后在redis中控制爬虫启动的,爬虫的第一个url,就是在redis中通过这个发送出去的

    代码片段:

    # class RedisDemoSpider(scrapy.Spider):
    class RedisDemoSpider(RedisSpider):
        # start_urls = ['https://www.fang.com/SoufunFamily.htm']
        redis_key="redis_demo:start_urls"
    
  3. 在配置文件setting.py中增加如下配置:

    Scrapy-Redis相关配置

    1、必须) 使用了scrapy_redis的调度器,在redis里分配请求,确保request存储到redis中

    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    

    2、必须) 使用了scrapy_redis的去重组件,在redis数据库里做去重,确保所有爬虫共享相同的去重指纹

    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    

    3、必须) 通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中,供后面的分布式处理item,这个已经由scrapy-redis 实现,不需要我们写代码,直接使用即可

    # 设置redis为item pipeline
    ITEM_PIPELINES = {
        'scrapy_redis.pipelines.RedisPipeline': 300
    }
    

    4、可选) 在redis中保持scrapy-redis用到的队列,不会清理redis中的队列,从而可以实现暂停和恢复的功能

    SCHEDULER_PERSIST = True
    

    5、必须) 指定redis数据库的连接参数

    # 设置连接redis信息
    REDIS_HOST = '127.0.0.1'
    REDIS_PORT = 6379
    

运行爬虫:

  1. 在爬虫服务器上(从机),进入爬虫文件所在的路径,然后输入命令:scrapy runspider [爬虫名字]

  2. 在Redis服务器上(主机),推入一个开始的url链接:redis-cli> lpush [redis_key] start_url,即可开始爬取

    例如:start_url 为 https://www.jianshu.com/

    redis-cli> lpush redis_demo:start_urls https://www.jianshu.com/
    

你可能感兴趣的:(网络爬虫,分布式,python,redis,数据库,大数据)