分布式爬虫没有push redis-key 但是却启动起来了

在我们改写一般的scrapy爬虫为scrapy-redis爬虫的时候,可能会遇到没有push redis-key,但是爬虫却起来原因

其中一个重要的原因可能就是start-requests方法被重写了,因为如果重写了之后,会默认最先调用这个方法,

解决办法:将start_request方法名改一下,改为parse解析方法,因为默认的解析函数就是这个函数,
当我们push redis-key之后,爬虫读取到redis-key,然后开始发送start_urls里面的请求,默认的第一个解析方法就是parse,

在分布式中,我们可以吧这个方法里面的函数体改为之前start_request函数体,这样默认解析方法就变成了之前的start_request方法,这样爬虫才会在我们push之后等待,
以上--------

你可能感兴趣的:(爬虫)