系统大量TIME_WAIT、load高处理
问题：上周发现系统大量TIME_WAIT，系统负载load很高500左右 检查cpu、内存、磁盘io正常
查看TPC连接数1W左右
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
处理：
进行内核优化
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
今天问题依旧、情况相同
查看日志如下
Sep 10 09:56:32 host-20069 kernel: printk: 731 messages suppressed.
Sep 10 09:56:32 host-20069 kernel: TCP: time wait bucket table overflow
再次优化内核对
net.ipv4.tcp_max_tw_buckets = 5000
修改为
net.ipv4.tcp_max_tw_buckets = 100000
修改内核参数后注意使用命令
/sbin/sysctl -p
使之生效
再查看日志正常无报错，top负载在慢慢下降然后区域正常值
主要原因还是某应用程序引起大量TIME_WAIT，系统内核优化只是一方面，此程序也应进行修改优化。
内核参数说明：
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
net.ipv4.tcp_fin_timeout = 30 表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。
net.ipv4.tcp_keepalive_time = 1200 表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟。
net.ipv4.ip_local_port_range = 1024 65000 表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为1024到65000。
net.ipv4.tcp_max_syn_backlog = 8192 表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets = 100000 表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。默认为180000，改为100000。对于Apache、Nginx等服务器，上几行的参数可以很好地减少TIME_WAIT套接字数量，但是对于Squid，效果却不大。此项参数可以控制TIME_WAIT套接字的最大数量，避免Squid服务器被大量的TIME_WAIT套接字拖死。