(2018-05-22.Python从Zero到One)6、(爬虫)scrapy-Redis分布式组件__1.6.0Scrapy 和 scrapy-redis的区别
Scrapy和scrapy-redis的区别Scrapy是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。pipinstallscrapy-redisScrapy-redis提供了下面四种组件(components):(四种组件意味着这四个模块都要做相应的修改)SchedulerDuplica