keepalived+LVS超时设置产生的realserver的tcp连接不释放问题

redis的集群使用keepalived+LVS做的负载集群

persistent时间设置为30s

而ipvsadm的超时时间则为900 120 300【使用ipvsadm -l --timeout】第一个为tcp超时时间,第二个为tcpfin超时时间,第三个为udp超时时间

由于在这种设置下ActionConn的连接数在高频访问下总是不会释放,恒定在100,【5个客户端恒定TCP连接每台10个】

决定设短ipvsadm的tcp超时时间为5s,而tcpfin设置为120,udp为300

结果就悲催了

keepalived的ActionConn和InActConn的数量猛增猛降也还可以接受

realserver的tcp连接则出现了端口上连接堆积不释放的情况,从1000多梦飙升到8000多

客户端狂报远程连接中断的错误


仔细研读了LVS的原理和TCP有限状态机

发现了问题所在

tcp的连接超时时间严重小于tcpfin的时间,结果lvs就会每隔5s在即使tcp连接还健康存在的时候强制中断

由于客户端会恒定保持10个TCP连接,然后就不断的被中断,不断的重新建立

realserver因为tcp连接是被强制中断的,有可能还没有收到lvs转发的tcp操作完成信号,就会在端口上继续保持连接 ESTABLISHED

然后就悲催了


一个明显的失误就是tcp的连接超时时间远小于tcp完成超时时间,真是的~~~



你可能感兴趣的:(虫虫乐园,实践手册)