scrapy框架遇到404就暂停怎么办？

遇到404的状态码，暂停是scrapy的默认操作。

最简单的办法是在spider类里添加：handle_httpstatus_list = [404]这句话，那么scrapy框架就会处理404暂停的问题，继续工作。

class ASpider(scrapy.Spider):
    name = 'A'
    allowed_domains = ['A.com']
    handle_httpstatus_list = [404]#很有用