scrapy:allowed_doamins作用

如果allowed_domains = ['https://blog.scrapinghub.com/']这么写的话 yield Request时不会调用callback方法;只能写为allowed_domains = ['blog.scrapinghub.com']

下图中的虽然调用了yield scrapy.Request(link.url, callback=self.parse),但并不会再次代用parse方法



scrapy:allowed_doamins作用_第1张图片

你可能感兴趣的:(scrapy:allowed_doamins作用)