scrapy提示DEBUG:Filtered offsite request to

在使用scrapy爬取数据时,只可以执行parse函数中的内容,通过yield scrapy.Request(url,callback=self.detail)方式无法跳转到detail函数,导致显示详细信息的url不能被解析。

通过查看log,发现提示如下:

           DEBUG:Filtered offsite request to 域名 

通过查资料,发现request  url的域名不能和文件中自己配置的allowed_domains不一致,否则会被过滤掉。

解决办法可以停用过滤功能,如下所示:

yield scrapy.Request(url,callback=self.detail,dont_filter=True)



你可能感兴趣的:(scrapy)