解决爬虫错误：urllib.error.URLError:

当用多线程爬取网站出现urlopen error [errno 10060]的错误，也就是连接失败。原因是多个线程爬去某个网站的数据，每次连接完需要sleep(1)一会，不然该网站服务端的防火墙会ban掉你的connect。睡眠等待机制会减少urlopen error [errno 10060]出现的概率，但访问次数多了还是会出现
开始的解决思路是每次连接的时候换用不同的useragent,结果仍会出现urlopen error [errno 10060]的异常。
后看了网上说法是连接时网络不稳定造成的，于是写了个多次尝试连接的函数

    #打开网页链接
    def openlink(self,link):
        maNum = 10
        for tries in range(maxTryNum):
            try:
                req = urllib.request.Request(link, headers = self.headers)
                response = urllib.request.urlopen(link)
                return response
            except:
                if tries < (maxTryNum - 1):
                    continue
                else:
                    print("Has tried %d times to access url %s, all failed!", maxNum, link)
                    break