Python requests请求抓取数据:requests.exceptions.TooManyRedirects: Exceeded 30 redirects.【 超过30个重定向】

在Python抓取数据时发生以下错误:

requests.exceptions.TooManyRedirects: Exceeded 30 redirects.

错误提示说requests发生了他多的重定向:超过了三十个。

我尝试使用一下方法,让requests仅仅请求,禁止重定向的操作去抓取数据:

requestData = requests.get(url,headers=header,allow_redirects=False)【allow_redirects禁止重定向】

发现禁止重定向之后,需要重定向获取的数据并没有获取得到。

之后我是用以下方式完美解决了问题:

1、先开启requests请求的回话:

 s = requests.Session()

2、设置请求头部的用户代理:

s.headers['User-Agent'] = '用户代理编码' [编码可将请求url复制到浏览器,按f12打开开发者工具的NetWork查找请求信息]

3、请求数据

data  = s.get(url)

博文参考总结于:https://blog.csdn.net/Eugene_3972/article/details/78718035

博文参考总结于:http://www.it1352.com/330504.html

你可能感兴趣的:(Python)