Scrapy Crawled (200) <GET http://www.baidu.com/> (referer: None)错误及解决办法

如下图所示,此错误是建立在scrapy框架建立起来的情况下,如图所示,图片左侧是scrapy框架项目结构,出现标题的错误,首先点击如图所示的settings.py文件,找到第40行,如图所示我已经框出来了,这两行刚打开文件时注释的,把这两行注释解开,并且添加"user-agent"字段,这个字段可以在浏览器里面获取,详细就不介绍了,可以自行百度,然后再次运行项目,就可以发现获取到网络的源码了.

 

Scrapy Crawled (200) <GET http://www.baidu.com/> (referer: None)错误及解决办法_第1张图片

你可能感兴趣的:(网络爬虫,python)