pyspider的一个诡异问题

其Start_url两次抓取处理失败以后,其之后的所有抓取行为就不正常,似乎根本没有HTTP访问,我把该爬虫的taskdb清空,该爬虫爬取行为恢复正常。这个问题已提交pyspider官方,静待回答。

你可能感兴趣的:(pyspider的一个诡异问题)