处理python3爬虫问题：urlopen error [Errno 111] Connection refused 或 urlopen error timed out

问题

爬虫时使用代理，经常会出现

或者

这类的错误，造成这类问题的原因是代理ip不可用或者质量差，解决方法如下：

方法

1、建立代理ip池
2、使用try… except… 处理异常，删除无效ip，示例代码：

def crawl_web_data(url, proxy_ip_list):

    if len(proxy_ip_list) == 0:
        return ''
    proxy_ip_dict = proxy_ip_list[0]
   
    try:
        html = download_by_proxy(url, proxy_ip_dict)
        print(url, 'ok')
            
    except Exception as e:
        #print('e', e)
        #删除无效的ip
        index = proxy_ip_list.index(proxy_ip_dict)
        proxy_ip_list.pop(index)
        print('proxy_ip_list', len(proxy_ip_list))
        
        return crawl_web_data(url, proxy_ip_list)#再次尝试爬取
        
    return html