python scrapy 出现no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicate

出现这个提示的原因是scrapy的filter功能将请求自动过滤掉，从而不会出现请求的结果
在请求yield Request(url, method=“POST”, body=json.dumps(self.data), headers=self.headers,
callback=self.get_detail, meta={‘page’: page, ‘ids’: ids,‘href’:href},dont_filter=True) 中增加dont_filter=True这一选项，将过滤功能关闭掉就ok了