python如何伪装浏览器爬取网站

有的网页在爬取时候会报错返回

urllib.error.HTTPError: HTTP Error 403: Forbidden

这是网址在检测连接对象,所以需要伪装浏览器,设置User Agent

在浏览器打开网页 ---> F12   ---> Network   ---> 刷新

然后选择一项 就是在 header 看到 User-Agent

User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36

python如何伪装浏览器爬取网站_第1张图片

你可能感兴趣的:(Python爬虫)