【Python 爬虫错误】[WinError 10054] 远程主机强迫关闭了一个现有的连接。

爬虫的时候出现错误：[WinError 10054] 远程主机强迫关闭了一个现有的连接。

错误原因：抓取信息太过频繁，引起远程主机的怀疑，被网站怀疑是恶意攻击行为。

可以解决的方法：

1. 换个wifi连接

• 简单粗暴，但是很实用，亲测有效。

2. 用try—except在报错的时候重新调用函数，多试几次就可以

• 适用于爬虫主体为函数的情况。

参考链接：
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。

3. 修改程序3步走

• urlopen之后写入关闭操作

  让代码在抓取url之后关闭，减少大量抓取信息让远程怀疑的可能性

  response = urllib.request.urlopen(request)
  --snip--
  response.close()
  

• 设置socket默认等待时间

  设置读取信息的最大时间限制，如果超时的话程序将自动read下一项

  socket.setdefaulttimeout(t)
  

• 设置sleep()等待时间
  让代码等待一段时间后继续运行，避免太过频繁地进行信息抓取

  time.sleep(t)
  

可以系统地解决问题，不过操作起来没有前面两个快捷，如果前面两个方法不能解决的话，可以尝试用这个方法。

参考链接：
【Python爬虫错误】ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接