爬虫常见错误及解决

urllib2.HTTPError: HTTP Error 403: Forbidden

该错误是由于网站禁止爬虫,可以在请求加上相关头信息,伪装成浏览器访问,如伪装浏览器头:headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}。当然还有可能需要其他头信息,可以人工使用浏览器的调试功能进行测试。

urllib2.HTTPError: HTTP Error 405(Method Not Allowed)

http server端要求GET方法,而请求的时候却使用了POST方法,因此出现了405错误。查看请求方法将其修改即可,一般去掉data参数为GET方式请求

你可能感兴趣的:(python爬虫)