Scrapy shell 如何添加 User_Agent?

我们在运用scrapy shell调试的时候,通常会遇到返回的response的状态码为302,这是因为没有加User_Agent的原因。比如爬取拉勾网的时候,没加请求头给我返回302重定向,如图:
Scrapy shell 如何添加 User_Agent?_第1张图片所以我们可以在进行scrapy shell 调试的时候,加入User_Agent进行伪装,

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/60.0" 你需要爬取的url

然后就可以愉快的调试和爬取了,效果如图:
Scrapy shell 如何添加 User_Agent?_第2张图片
本人不是老鸟,记录和分享换一下自己爬虫过程中的问题和疑点。
不喜勿喷,谢谢大家~~~

你可能感兴趣的:(爬虫)