EMQX 集群节点数据转发

EMQX 分布式集群设计

emqx 分布式集群解决的问题是将客户端连接分到不同的节点上，从而获得最大的连接数和并发量，但是也带来了新的问题：订阅者和发布者可能不在同一个节点上，发布者的消息需要进行中转才能到达订阅者。

于是 emqx 设计了一套数据路由中转机制，其中主要使用了订阅表、路由表、主题树。三者搭配实现了数据的路由。

订阅表

说明： 即 topic 和 订阅客户端 的对应关系。该订阅表记录只存在于订阅者所在的 EMQX 节点上。

目的：便于根据 topic 获取到 到订阅者，从而向订阅者发送消息。

路由表

说明：维护了节点和 topic 的对应关系。同一集群中的所有节点将都维护了主题到节点的映射表。

目的：当消息到达某个节点时，可以根据 topic 查找到订阅对应 topic 的客户端连接在那个节点上，从而将消息路由到该节点。

主题树

说明：EMQX 会维护 主题树。

目的：用于匹配多个主题。当发布者发布主题时，从主题树上获取到匹配的主题。

消息分发流程

publisher 连接在 node02 ，当 publisher 发布一条主题为 t/a 的消息时：

1. node02 通过查询主题树，获取到有两个主题匹配：t/a, t/#；
2. node02 通过查询路由表，获取到 有 node01 关联了 t/a，node03 关联了 t/#；
3. node02 路由消息到 node01 和 node03；
4. node01 和 node03 获取到消息；根据各自的订阅表，得知：node01 上有 sub02 订阅了 t/a，node03 上有 sub03 订阅了 t/#；
5. node01 和 node03 分别将消息推送给 sub02 和 sub03。

数据分区

EMQX 的订阅表在集群中被分区存放。 而主题树和路由表是集群复制的。这么设计的原因：

1. 订阅表只需要在对应的节点上找到即可，节点故障，订阅者会连接其他的节点；
2. 由于客户端连接哪个节点是不可预测的，所以每个节点都可能做路由工作，因此主题树和路由表是集群复制存储。