在Python抓取数据时发生以下错误:
requests.exceptions.TooManyRedirects: Exceeded 30 redirects.
错误提示说requests发生了他多的重定向:超过了三十个。
我尝试使用一下方法,让requests仅仅请求,禁止重定向的操作去抓取数据:
requestData = requests.get(url,headers=header,allow_redirects=False)【allow_redirects禁止重定向】
发现禁止重定向之后,需要重定向获取的数据并没有获取得到。
之后我是用以下方式完美解决了问题:
1、先开启requests请求的回话:
s = requests.Session()
2、设置请求头部的用户代理:
s.headers['User-Agent'] = '用户代理编码' [编码可将请求url复制到浏览器,按f12打开开发者工具的NetWork查找请求信息]
3、请求数据
data = s.get(url)
博文参考总结于:https://blog.csdn.net/Eugene_3972/article/details/78718035
博文参考总结于:http://www.it1352.com/330504.html