2019独角兽企业重金招聘Python工程师标准>>> 
（服务器用的阿里云主机，CentOS 7.3，似乎不管内存多少阿里云都把 conntrack_max 设成 65536）
症状
CentOS服务器，负载正常，但请求大量超时，服务器／应用访问日志看不到相关请求记录。
在dmesg或/var/log/messages看到大量以下记录：
kernel: nf_conntrack: table full, dropping packet.
原因
服务器访问量大，内核netfilter模块conntrack相关参数配置不合理，导致新连接被drop掉。
详细
nf_conntrack模块在kernel 2.6.15（2006-01-03发布） 被引入，支持ipv4和ipv6，取代只支持ipv4的ip_connktrack，用于跟踪连接的状态，供其他模块使用。
最常见的使用场景是 iptables 的 nat 和 state 模块：
nat 根据转发规则修改IP包的源/目标地址，靠nf_conntrack的记录才能让返回的包能路由到发请求的机器。
state 直接用 nf_conntrack 记录的连接状态（NEW/ESTABLISHED/RELATED/INVALID）来匹配防火墙过滤规则。
iptables
nf_conntrack用1个哈希表记录已建立的连接，包括其他机器到本机、本机到其他机器、本机到本机（例如 ping 127.0.0.1 也会被跟踪）。
如果连接进来比释放的快，把哈希表塞满了，新连接的数据包会被丢掉，此时netfilter变成了一个黑洞，导致拒绝服务。 这发生在3层（网络层），应用程序毫无办法。
各发行版区别：
CentOS (7.3) 默认加载该模块
Ubuntu (16.10+) 和 Kali Linux (2016.1+) 默认不加载，不会有这问题
查看
netfilter 相关的内核参数：
sudo sysctl -a | grep conntrack
只看超时相关参数（超时时间 = 连接在哈希表里保留的时间）
sudo sysctl -a | grep conntrack | grep timeout
netfilter模块加载时的bucket和max配置：
sudo dmesg | grep conntrack
找类似这样的记录：
nf_conntrack version 0.5.0 (16384 buckets, 65536 max)
哈希表使用情况：
grep conntrack /proc/slabinfo
前4个数字分别为：
当前活动对象数、可用对象总数、每个对象的大小（字节）、包含至少1个活动对象的分页数
当前跟踪的连接数：
sudo sysctl net.netfilter.nf_conntrack_count
或 cat /proc/net/nf_conntrack | wc -l
跟踪的每个连接的详情：
cat /proc/net/nf_conntrack
统计里面的TCP连接的各状态和条数
cat /proc/net/nf_conntrack | awk '/^.tcp.$/ {count[$6]++} END {for(state in count) print state, count[state]}'
记录数最多的10个ip
cat /proc/net/nf_conntrack | awk '{print $7}' | cut -d "=" -f 2 | sort | uniq -c | sort -nr | head -n 10