解决scrapy爬虫问题:Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。

问题

之前写了一些爬虫,一段时间没用过,今天突然用的时候发现:命令行运行:scrapy crawl spidername的时候报错了,错误信息如下:Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。.
我很奇怪,以为是网站的反爬措施升级了,结果试了其他网站的爬虫也是显示同样的错误,但是我的浏览器还能够正常访问该网页。

解决办法

查找了网上一些资料后,找到如下的解决办法:

  • 浏览器的网络设置中取消使用代理(使用的是Firefox浏览器)
    解决scrapy爬虫问题:Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。_第1张图片
  • 网络设置中的代理关掉
    解决scrapy爬虫问题:Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。_第2张图片
    好了,现在可以正常使用scrapy爬虫了

原因

虽然目前将其关闭,并且爬虫可以使用了,但是我发现过不了多久,电脑又会自己打开代理,如图所示:
解决scrapy爬虫问题:Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。_第3张图片
然后爬虫又开始报错,这就有点烦了。。
仔细一看地址和端口,原来是我上次使用Charles抓取手机APP数据的时候设置的8899端口,看来Charles一直在强迫电脑设置代理服务器为本机的8899端口,难怪会出现这个问题!!只需要关闭代理后重启电脑就行了!

你可能感兴趣的:(爬虫,Scrapy)