scrapy使用代理报错keyerror: proxy_scrapy测试快代理的隧道代理报错ValueError: invalid hostname...

我用scrapy测试了快代理的隧道代理，报错如下：

scrapy测试了快代理的隧道代理，报错

我先尝试用scrapy访问shangshiwendao.com试试，结果是报错：

ValueError: invalid hostname: username:[email protected]

然后我把访问的网址改成了百度的首页，奇怪，一切正常。

为什么快代理的隧道代理访问http的网站就报错，https的网站就没问题，我很疑惑。问了快代理的客服，客服说他们的代理是正常的。

然后我把代理换成了阿布云和16yun，测试发现不管是http还是https的网站都访问正常，折腾了好久，找不出问题出在哪儿，我甚至沮丧的认为快代理的隧道代理没法用了，浪费钱了。

不过还是有点不死心，新建了个scrapy项目，把快代理的官方示例代码拿来测试，发现一切正常，那么问题就出在我的代码上了。后来经过了反复的检查对比，发现问题出在了settings.py的DOWNLOADER_MIDDLEWARES权重上！

DOWNLOADER_MIDDLEWARES = { 'spider.middlewares.UserAgentMiddleware': 510, 'spider.middlewares.ProxyMiddleware': 749}

这里的ProxyMiddleware，权重只要超过749就报错，低于这个数就正常，估计是跟默认权重大小有关。