如何将scrapy项目转换成scrapy-redis分布式爬虫

如何将scrapy项目转换成scrapy-redis分布式爬虫_第1张图片

  1. 将爬虫继承的类从 scrapy.Spider 变成 scrapy_redis.spiders.RedisSpider(或者先import (from scrapy_redis.spiders import RedisSpider));或者是从 scrapy.CrawlSpider 变成 scrapy_redis.spiders.RedisCrawlSpider。
  2. 将爬虫中的start_urls删掉。增加一个redis_key="xxx"。这个redis_key是为了以后在redis中控制爬虫启动的。爬虫的第一个url,就是在redis中通过这个发送出去的。
  3. 修改配置文件:
     # Scrapy-Redis相关配置
        # 确保request存储到redis中
        SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    
        # 确保所有爬虫共享相同的去重指纹
        DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    
        # 设置redis为item pipeline
        ITEM_PIPELINES = {
            'scrapy_redis.pipelines.RedisPipeline': 300
        }
    
        # 在redis中保持scrapy-redis用到的队列,不会清理redis中的队列,从而可以实现暂停和恢复的功能。
        SCHEDULER_PERSIST = True
    
        # 设置连接redis信息
        # REDIS_HOST = '127.0.0.1'
        REDIS_HOST = '192.168.43.251'
        REDIS_PORT = 6379

     

  4. 运行爬虫:

         在爬虫服务器上。进入爬虫文件所在的路径,然后输入命令:scrapy runspider [爬虫名字]。

         在Redis服务器上,推入一个开始的url链接:redis-cli> lpush [redis_key] start_url开始爬取。

你可能感兴趣的:(scrapy-redis,分布式爬虫)