Python爬虫第十天:Scrapy-Redis|分布式爬虫

一:Scrapy-Redis

概述:是实现Scrapy分布式爬取而提供了一些以redis为基础的组件。

   组件包含:

        Scheduler –调度器

        Duplication Filter –指纹去重

        Item Pipeline-管道

        Base Spider- 基础Spider

组件作用:

a-调度器:

           负责对新的request进行入列操作以及取出要出列的request

          管理维护待爬取字典队列结构,使用Scrapy-redis的scheduler组件

          原来Scheduler已经无法使用

     补充说明:

            Scrapy改造了python原来的双向队列形成了自己的Scrapy queue但Scrapy多个spider不能共享待爬取队列Scrapy queue.即Scrapy本身不支持分布式爬虫。

scrapy-redis 解决把Scrapy queue换成redis数据库(redis队列),从同一个redis-server存放要待爬取的request,方便多个spider去同一个数据库里读取。

b-指纹去重(过滤器):

      scrapy-redis中去重依赖于Duplication Filter组件。

      其底层利用redis的set不重复的特性。

    具体底层去重细节:

1-scrapy-redis调度器从引擎接受request,将reques的指纹存入redis的set检查是否重复,并将不重复的request push写入redis的 request queue。

2-引擎请求request时,调度器从redis的request queue里根据优先级弹出⼀个request 返回给引擎,引擎将此request发给spider处理。

c-管道:

引擎将Spider返回的爬取到的Item给Item Pipeline。scrapy-redis的Item Pipeline将爬取到的Item存入redis的items queue。Item

Pipeline可根据key从items queue提取item从而实现items processes集群

Scrap-Redis原理:

二:官方例子简单说明

        https://github.com/rmax/scrapy-redis

   三个爬虫样本

      dmoz.py  传统的CrawlSpider,目的就是让数据保存到redis中。运行方式为: scrapy crawl dmoz

      myspider_redis.py     继承RedisSpider,start_urls被redis_key替代,allow_domains不变

                【提示】官方用__init__方法来替换allow_domains不支持目前的版本

      mycrawler_redis.py     继承RedisCrawlSpider,其它的和上面的myspider_redis.py是一样的

      【温馨提示】后两种爬虫的运行方式为:

           scrapy runspider myspider_redis.py

           scrapy runspider mycrawler_redis.py

      【温馨提示】

            from scrapy_redis.spidersimport RedisSpider

            from scrapy_redis.spiders importRedisCrawlSpider

            是scrapy_redis新增加的两个组件,都是继承自官方的Spider、CrawlSpider

三:使用redis存储

        pip install scrapy-redis

        【温馨提示】在爬取网站的时候,将settings 中的DOWNLOAD_DELAY选项打开。

             DOWNLOAD_DELAY = 1

三:分布式爬虫部署

  执行说明:

   现在有5台电脑c1 c2 c3 c4 c5

   computer3上面安装的是redis服务器,master端(主节点)

c1|c2|c4|c5都从c3的redis上面获取请求或将请求添加到c3的redis服务器中,  slave端(从节点)

   slave端首先启动,页面会停止在那里等待指令,此时master通过lpush向队列中添加一个起始url。其中一个slave端获取到这个url开始爬取,此slave端会将解析之后的很多url再次的添加到redis服务中,然后redis服务再从请求队列中向每个slave端分发请求,最终直到所有请求爬取完毕为止

文件中的配置内容:

      #scrapy_redis指纹去重类

        DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

      #调度器使用是scrapy_redis的调度器

        SCHEDULER ="scrapy_redis.scheduler.Scheduler"

      #爬取的过程中是否允许暂停

        SCHEDULER_PERSIST = True

      #配置存储的redis服务器

        REDIS_HOST = '10.0.112.191'

        REDIS_PORT = 6379

运行操作说明:

       scrapy runspider mycrawler_redis.py

        master端向队列中添加起始url。key就是代码中的redis_key

lpush fen:start_urls 'http://www.dytt8.net/html/gndy/dyzz/index.html'

你可能感兴趣的:(Python爬虫第十天:Scrapy-Redis|分布式爬虫)