RocketMQ的客户端连接数调查

RocketMQ版本：3.4.6

 

==问题现象==

RocketMQ集群的某个topic，在一部分节点上消费有“断层”，这部分数据一致没办法消费。

 

==调查过程==

一顿操作猛如虎的调查之后发现，

该Topic的消费者的客户端连接数不正确。

程序中设置的客户端数明明是4个，

但是Web页面上显示的是5个。

 

OK，如何才能知道这些客户端程序到底是哪些呢？

看了一下RocketMQ的命令列表，发现里面有一个命令好像有戏。

 

用这个命令尝试了一下，果然有效。

命令：sh /home/hadmin/alibaba-rocketmq/bin/mqadmin consumerConnection -n "10.11.2.4:9876;10.11.2.5:9876" -g face2

用这个命令可以查看出，这个消费组的客户端是在哪个节点上，占用的端口号是哪个。

 

将正常的客户端连接断开（用的Storm消费，把Storm的拓扑kill掉就可以了）

再次使用这个命令，就可以查看出，到底是哪个程序在捣鬼了。

 

发现在10.11.2.9节点上，54681这个端口的java程序启动了一个客户端连接。

到10.11.2.9上查看一下是哪个程序。

命令：netstat -anp | grep 54681  查看占用端口的java进程号是43021。

命令：ps -ef | grep 43021  查看启动这个进程的java程序。

 

==问题结论==

我们的场景是用Storm来消费RocketMQ。

但是，在我们kill拓扑的时候，由于storm的原因，

偶尔会有一些worker不能被kill掉，变成“僵尸进程”

上述问题中，莫名其妙多出的1个客户端连接就是僵尸进程引起的，

将上述发现的僵尸进程kill掉之后，问题就解决了。

  

==经验教训==

Storm的拓扑kill之后，建议检查是否有僵尸进程存在。可以写一个shell脚本检查。