由ip_conntrack跟踪连接库满导致的大量丢包现象

刚上线不久的一台服务器，晚上高峰时有很多客户反映连不上服务器，通过在本地测试发现有的连接可以连上但有的不行，赶紧连上服务器查看日志，发现大量如下错误…

kernel: ip_conntrack: table full, dropping packet.
kernel: printk: 1 messages suppressed.
kernel: ip_conntrack: table full, dropping packet.
kernel: printk: 2 messages suppressed.
kernel: ip_conntrack: table full, dropping packet.
kernel: printk: 1 messages suppressed.

       ip_conntrack 这个东西是连接跟踪数据库(conntrack database)，代表NAT机器跟踪连接的数目（不过只要打开iptables就会开始跟踪）如果这个东西满了结果可想而知 赶紧查看当前的值发现很快就能到2万多

wc -l /proc/net/ip_conntrack
23722 /proc/net/ip_conntrack

       看看最大值限制

cat /proc/sys/net/ipv4/netfilter/ip_conntrack_max
65536

       访问稍大一点就会突破这个值

       保留时间是多久？

cat /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established
432000

       默认是5天，没必要这么久

       先临时调大看看效果

echo 655350 > /proc/sys/net/ipv4/netfilter/ip_conntrack_max
echo 10800 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established

       改完后观察了一段时间，发现服务器连接正常，没有再发生类似情况

       修改/etc/sysctl.conf

net.ipv4.netfilter.ip_conntrack_max = 655360
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 10800

sysctl -p 立即生效

补充：

       查看内核现在连接数量
       cat /proc/sys/net/ipv4/netfilter/ip_conntrack_count
       查看内核net.ipv4.ip_conntrack_max和net.ipv4.netfilter.ip_conntrack_max的值
       sysctl -a|grep -e “ip_conntrack_max”

附：s135的优化方案：

net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog =  32768
net.core.somaxconn = 32768

net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2

net.ipv4.tcp_tw_recycle = 1
#net.ipv4.tcp_tw_len = 1
net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800

#net.ipv4.tcp_fin_timeout = 30
#net.ipv4.tcp_keepalive_time = 120
net.ipv4.ip_local_port_range = 1024  65535