python3 爬虫 HTTP Error 403:Forbidden
问题描述
初学python，在用python中的urllib.request.urlopen()方法打开网页时，有些网站会抛出异常: HTTP Error 403:Forbidden
问题原因
网站对爬虫的操作进行了限制
解决方法
伪装成浏览器，然后这样用
headers = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'}
req=urllib.request.Request(url=target_url,headers=headers)
urllib.request.urlopen(req).read()
初学python，在用python中的urllib.request.urlopen()方法打开网页时，有些网站会抛出异常: HTTP Error 403:Forbidden
问题原因
网站对爬虫的操作进行了限制
解决方法
伪装成浏览器，然后这样用
headers = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'}
req=urllib.request.Request(url=target_url,headers=headers)
urllib.request.urlopen(req).read()