ActiveMQ集群消息转发问题整理（一）

环境：

• ActiveMQ 5.13.4
• 8000台Client与8台AMQ组成的集群连接
• 每台Client使用非持久化订阅TOPIC上的消息，TOPIC名称为C类网段地址，如：192.168.1.1的Client 消费 TOPIC：VLAN.192.168.1
• Client使用failover机制，断线自动重连，自动重建消费者，自动连接时F5不使用会话保持（相当于从一串MQ地址中随机选择一个）
• 生产者随机连接MQ集群中的一台，往topic上发送非持久化消息
• MQ集群内部通信是通过互相建立消费者来实现的。比如消费者连接到A，生产者连接到B，那消息发送到B，A会往B建立一个消费者去消费消息，而后再把消息转给连接到自己的消费者

现象：
假设 Client_A连接MQ_A，消费TOPIC_A。消息下发时，出现Client_A接收不到消息的情况。

1. Client_A连接的MQ_A上只有这个Client_A一个消费者消费TOPIC_A上的消息。

2. 查看TOPIC的订阅者信息，除了Client_A外，还可能出现该MQ转发到其他MQ上的虚拟消费者，表示发到这个TOPIC的消息需要被转发给其他MQ

3. 集群内其他所有MQ上的TOPIC_A上查看订阅者，均未出现类似的虚拟消费者，表示消息不会被转发到MQ_A，所以Client_A无法收到消息。

4. 重启Client，Client会自动飘到集群内其他的MQ上，此时可以正常消费。

5. 指定MQ_A要求Client_A重启后连接到MQ_A，也可以正常消费。

MQ内部的集群机制是这样的：

1. MQ_A启动后，检查集群内是否有其他MQ（假设有MQ_B）

2. MQ_A与MQ_B之间互相建立连接（共两个），A到B的21591端口和B到A的21591端口，相当于互相建立生产者。

3. 建立A到B的连接后，A开始监听B的所有的系统TOPIC：ActiveMQ.Advisory.Consumer.> （>表示通配符，相当于 *），这个系统TOPIC的功能是当B上出现一个消费者的时候，会往这个TOPIC里发送一条消息。
   比如一个Agent 192.168.1.1 启动后，连接到B，就会建立一个到B上的 TOPIC: VLAN.192.168.1 的消费者，这时MQ_B上的ActiveMQ.Advisory.Consumer.Topic.VLAN.192.168.1 里就会出现一条消息，表示有个消费者与 TOPIC: VLAN.192.168.1 建立了消费关系。
   此时A通过网络连接就可以拿到这条消息，并在本机建立一个虚拟消费者，虚拟消费者消费TOPIC: VLAN.192.168.1 上的消息，并将消息发送给B。此时在A上查看这个TOPIC下的消费者，会发现多了一个NC开头的消费者。可实际上并不是从B上建立的到A的消费者，而是A自己内部建立的虚拟消费者，表示这个TOPIC的消息要被转发到B。

4. B收到消息以后，将消息转发给Agent

对于源码的解读没什么眉目，可以等以后整理一下集群建立消费者的机制，但是没有看出什么bug来。

于是开发了个日志插件来记录消费者的建立，集群消费者的互建过程。原理就是在消费者建立和移除时，记录该消费者的目的地，consumerid和remoteAddress。目前刚放到测试环境上，明天看看效果。。

目前想到的规避方案：

1. 尝试不使用C类网段，而是B类或者A类网段，这样同一个TOPIC的消费者数量增加，触发BUG的概率就减少了
2. 设计一个机制可以发现这个问题，然后重启Client
3. 查查AMQ的issue日志，看看是否新版本解决了这个问题。