redis-scrapy分布式系统搭建

下载

• Reids：https://github.com/MicrosoftArchive/redis
• scrapy-redis：https://github.com/rmax/scrapy-redis
• redis-py：> pip install redis
• python：3.5

根据scrapy-redis的Usage，将下面设置添加到setting.py

• SCHEDULER = "scrapy_redis.scheduler.Scheduler"
• DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
• ITEM_PIPELINES = {
  'scrapy_redis.pipelines.RedisPipeline': 300
  }

在spider.py上设置 name 和 redis_key；启动redis-server、redis-cli和pycharm，可以看到scapy在等待start_urls

2018-01-26 14:07:56 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023

• 在redis-cli上 llpush [redis_key] [start_urls]

---

salver机上的配置与master无异，连接参考http://www.cnblogs.com/kylinlin/p/5198233.html