记一次带宽跑满服务器卡死事故处理

1.突然网站打不开

2.检查带宽情况，发现带宽跑满，考虑是cdn大量回源的问题

3.ssh 艰难登上服务器，重启nginx

4.网站恢复，检查log，发现大量 同段的ip请求网站的一些冷门文件，这些文件都没有被cdn缓存

{"remote_addr":"140.205.253.185","host":"file.reco.cn","time":"09/Sep/2015:16:06:05 +0800","request":"GET /download/f23429d4fda583c9fda74783f33a5d4e/%E5%BC%82%E6%97%8F%E8%83%8C%E5%8F%9B%E8%80%85+Alien+Violatorv1.3.apk HTTP/1.1","status":200,"size":168888,"referer":"-","user_agent":"-","forwarded":"211.103.88.76","request_time":30.000}

nginx 禁掉这个ip段，

网站恢复

彻底解决这个办法：

将文件服务器分离