爬虫(14) - Scrapy-Redis分布式爬虫(1) | 详解

1.什么是Scrapy-Redis Scrapy-Redis是scrapy框架基于redis的分布式组件,是scrapy的扩展;分布式爬虫将多台主机组合起来,共同完成一个爬取任务,快速高效地提高爬取效率。 原先scrapy的请求是放在内存中,从内存中获取。scrapy-redisr将请求统一放在re

你可能感兴趣的:(爬虫(14) - Scrapy-Redis分布式爬虫(1) | 详解)