Max retries exceeded with url 错误

Max retries exceeded with url

今天在写一个脚本的时候老是出现这个错误，各种头都加了还是没效果。

headers = {

    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6',

    "Host:":"192.168.1.1",

    "Connection":"keep-alive",

    "Accept-Encoding":"identity",

    "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"}

结果请教大牛，仅有提示

http://panyongzheng.iteye.com/blog/1952538

因为我用的是python，而且用的是requests模块，所以就按照其中第一个方式进行添加，但是却不能成功。

无聊中想到升级，不小心就搞定了，原来是requests模块太老，不支持。

requests.adapters.DEFAULT_RETRIES = 5 

升级后就好了

pip install --upgrade requests

---

估计知乎对这些url的访问做了限制，虽然我弄了代理，但还是碰到了这个问题。

解决办法如下：

在requests库获取html时，如果碰到访问不成功，则用try-except加上循环继续访问，并用sleep控制访问频率

html = ""

    while html == "":      #因为请求可能被知乎拒绝，采用循环+sleep的方式重复发送，但保持频率不太高

        try:

            proxies = get_random_ip(ipList)

            print("这次试用ip：{}".format(proxies))

            r = requests.request("GET", url, headers=headers, params=querystring, proxies=proxies)

            r.encoding = 'utf-8'

            html = r.text

            return html

        except:

            print("Connection refused by the server..")

            print("Let me sleep for 5 seconds")

            print("ZZzzzz...")

            sleep(5)

            print("Was a nice sleep, now let me continue...")

            continue

问题到这里应该就解决了。

参考：Max retries exceed with URL （需要翻墙）

---

爬虫多次访问同一个网站一段时间后会出现错误 HTTPConnectionPool（host:XX）Max retries exceeded with url ': Failed to establish a new connection: [Errno 99] Cannot assign requested address'

是因为在每次数据传输前客户端要和服务器建立TCP连接，为节省传输消耗，默认为keep-alive，即连接一次，传输多次，然而在多次访问后不能结束并回到连接池中，导致不能产生新的连接

headers中的Connection默认为keep-alive，

将header中的Connection一项置为close

headers = { 'Connection': 'close',}

r = requests.get(url, headers=headers)

此时问题解决