Scrapy "Filtered duplicate request" 结束运行

也是看别人的，并不清楚原理。。

dont_filter=True #加一行这个

yield scrapy.Request(
    info_url,
    cookies=self.cookie,
    callback=self.parse_info,
    dont_filter=True,
    meta={
        'item': item,
        'date': meta_data['date'],
        'weibo_id': meta_data['weibo_id']
    }
)