requests设置代理可以，scrapy设置代理就超时 问题记录

今天被自己坑了一把，我爬下来的免费代理 ip。明明用requests设置proxies，返回就200。用scrapy设置代理就一直报连接超时的问题（不能用的那种）。scrapy的代理设置木有问题（网上一堆教程）

如上图，测试之后发现 都是过！！。但是在scrapy中就报错。我之后才发现原来requests的proxies会做判断，根据访问的url的类型来决定用那个代理。因为我url是https的类型，而我只写了一个http的代理，没有写https的代理，则会取本机的ip地址，所以自然就成功了。

 

建议下次测试的时候先测试网址改成https://www.whatismybrowser.com/  。然后查看IP ADDRESS是不是代理的ip地址。如果是的话，那就继续测试。