服务器负载飙升故障修复日志

每天12点左右，服务器负载飙升到200+，持续10-20分钟，之后就好了，检查日志，发现大量超时，执行时间60s，没有其他异常。让人摸不到头脑。

于是蹲点等它爆发，今天等到了。负载飙升时，出现大量僵尸进程。

 

说明php卡住了，一般是等待io，硬盘挂了，mysql无响应等，会出现个这种情况。检查之后发现都没问题。于是找了一个D状态进程跟踪。

说明程序在缓慢就收数据，最后发现了连接ip：101.226.212.27。一番排查之后发现，这是啥，坐标上海，不是我们的服务器，是不是被黑了？瞬间心凉了半截。

为了找到来源，做了一个dns解析跟踪，“tcpdump port 53”，发现一个令人吃惊的结果，api.weixin.qq.com的解析结果竟然是这个ip。腾讯在搞毛线啊，心里一万个？？？在奔跑。

我们有很多腾讯的小程序，公众号转发，支付等，都调用这个api，他为什么在这个时间这么卡，我不知道，但是我确实被腾讯给拖累了。

我们的php默认执行时间都是60s，之后把api.weixin.qq.com的超时全部改成了3s，问题解决。

不知道腾讯在12点左右搞毛线？欢迎留言。