暂停爬虫

打开MongoDB和Redis都是必须的,主要是开始的时候的代码换一下

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

继续开始的代码如下

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

和开始的代码是一样的,这样就可以使爬虫暂停了。

你可能感兴趣的:(暂停爬虫)