python爬虫请求服务器使用了错误的代理ip地址会返回什么样的错误?

  1. 首先,我们使用正确的代理ip地址,测试一下。
    python爬虫请求服务器使用了错误的代理ip地址会返回什么样的错误?_第1张图片
    成功请求,并取到了数据(页数)!

  2. 如果将正确的ip地址改成错误的ip地址去请求会发生什么错误???
    python爬虫请求服务器使用了错误的代理ip地址会返回什么样的错误?_第2张图片
    运行结果:报出了代理错误
    错误为:requests.exceptions.ProxyError: HTTPConnectionPool(host=‘115.88.66.221’, port=8888): Max retries exceeded with url: http://permit.mee.gov.cn/permitExt/syssb/xkgg/xkgg!licenseInformation.action (Caused by ProxyError(‘Cannot connect to proxy.’, NewConnectionError(’: Failed to establish a new connection: [Errno 110] Connection timed out’,)))

    下面尝试一下能不能用requests.exceptions.ProxyError来抓错?
    python爬虫请求服务器使用了错误的代理ip地址会返回什么样的错误?_第3张图片
    如上图,抓错成功!
    注意:经过测试,当代理错误是此处对服务器的请求2分钟左右才抛出代理错误(requests.exceptions.ProxyError:)。因此,在抓代理错误的时候需要设置timeout的时间长一点(3分钟以上),否则,报的是请求超时错误(requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘115.88.66.221’, port=8888): Max retries exceeded with url: http://permit.mee.gov.cn/permitExt/syssb/xkgg/xkgg!licenseInformation.action (Caused by ConnectTimeoutError(, ‘Connection to 115.88.66.221 timed out. (connect timeout=10)’)))!

  3. 当代理为None时,又是什么情况呢???
    其实当proxies=None时,就相当于没有使用代理,用的还是本机的ip地址。如果本机的ip被请求的服务器封掉,那么还是无法请求!

你可能感兴趣的:(python爬虫)