requests并发请求url时太慢

python requests请求卡住问题

这里首先应该明确问题,在进行请求的时候,已经设置了timeout参数,为啥还会变慢。
在requests.get(timeout = 1) requests.get(timeout = (1,2))
他具备两种方式,一种就是全部都设置为1,一种就是两个过程分别设置。
具体信息可以看
https://www.jianshu.com/p/5cf16cb5a362

但是,实际上,即使是设置了这个东西也是会卡住,有两种方案,一种就是修改DNS,一种就是设置全局的socket时间。
我dns是阿里的,socket时间也修改了,但是还是会出现时间比较长的情况;
但是看了一下,大部分url都不会出现这种超时的情况,慢的就是那几个,即使我用wget进行也会非常慢,说明其实,就是那边的服务器慢,按说我请求过一次DNS应该缓存了。
最后就是直接把这个url给黑名单了。。
但这毕竟不是长久直接,其实应该比较智能的砍掉这个过程。

https://www.v2ex.com/t/365351
这个是他们关于这个问题的讨论。

你可能感兴趣的:(requests并发请求url时太慢)