某次在写爬虫时,运行之后报错
requests.exceptions.ProxyError:
HTTPSConnectionPool(host=‘xxx.xxx.xxx’, port=443):
Max retries exceeded with url: xxxxxxx (Caused by ProxyError
(‘Cannot connect to proxy.’, NewConnectionError(’
原因:
使用IP代理参考以下文章
Python爬虫避坑IP代理教程避坑(reuqests和selenium的ip代理)
解决办法
1、增加重试连接次数
requests.DEFAULT_RETRIES = 5
s = requests.session()
2、关闭多余的连接
s.keep_alive = False
requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。
如果对大家有帮助,可以点赞关注和收藏一下哦,谢谢各位!
博主更多博客文章