web服务中API接口响应过慢问题排查

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

使用Nginx+uWSGI搭建web服务已经有半年时间了,最近经常会出现在某些时间段接口响应过慢的问题。一般要10几秒才能返回,有时候甚至是20~30s。这对前端APP来说是不可接受的,开发那边设置的timeout是10s。

最开始以为是他们原始接口自己的问题,后来查看之后发现其实结果返回很快的,但他们实际拿到请求时间已经过去了30秒,而请求端这30s都耗费在nginx和uwsgi的等待上。

没办法,看来还是得从服务端找原因。继续查看ELK搭建的日志搜集系统,发现了一些规律:

 

web服务中API接口响应过慢问题排查_第1张图片

 

上图是各个接口的平均响应时间,大概每隔1h就会出现一次接口响应过慢的情况。准确的说是在每个小时的50分左右。怀疑在那个时间段会有大量请求阻塞。

跟各个接口负责人确认之后发现,相关新闻接口确实是在每个小时会对队列做一次更新,而且时间也对的上。这么看来应该是相关新闻接口在更新时,阻塞了所有的请求队列,导致其他请求没有及时到达后端。

我采用的解决方案是对相关新闻接口限制timeout时间为2s,直接在request请求里修改:

resp = requests.post("http://xx", json=data, timeout=2)

如果2s之内请求没响应则直接返回0.这样其他接口的请求也不会受到影响。

修改之后,基本恢复正常,所有请求平均响应时间都是500ms以下

web服务中API接口响应过慢问题排查_第2张图片

转载于:https://my.oschina.net/aibati2008/blog/776419

你可能感兴趣的:(web服务中API接口响应过慢问题排查)