scrapy-redis框架理解中的一些细节问题

你们在理解scrapy框架的时候,那个start_url应该放在调度的队列里还是放在redis数据库中的'%(name)s:start_urls'中?

这个问题我发现很多人都没有掌握,其实scrapy-redis中起始url是放在'%(name)s:start_urls'中的,当爬虫启动之后,spider会直接从redis数据库中取出起始url

你可能感兴趣的:(scrapy-redis框架理解中的一些细节问题)