RocketMQ系列(二):nameServer

nameServer是什么

nameServer负责rocketMq的路由管理、服务管理、服务发现。

重点:

  • nameServer整体构建设计
  • nameServer动态路由发现与剔除机制

nameServer整体构建设计

RocketMQ系列(二):nameServer_第1张图片
RocketMQ.png

nameServer启动流程

  1. step1: 首先解析配置文件。填充NameServerConfig、NettyServerConfig属性值。
    包括:端口号,目录路径,netty线程池个数,消息请求并发度。等等等等。

  2. step2: 根据启动属性,创建NamesrvController实例,并初始化该实例。NameServerController为nameServer的核心控制器。
    NameServerController里面有一个nettyServer和两个定时任务。
    nettyServer负责与broker、生产者、消费者进行网络通信。
    定时任务1:每隔10s扫描一次broker,移除死亡状态broker。
    定时任务2:每隔10分钟打印一次KV配置。

路由注册

路由元信息

来看一下NameServer中到底存了哪些信息

/**
* key 为 topic
* topic 消息队列路由信息,消息发送时根据路由进行负载均衡
*/
private final HashMap> topicQueueTable;

/**
* key 为 brokerName
* broker基础信息,包含brokerName、所属集群名称、主备broker地址
*/
private final HashMap brokerAddrTable;

/**
* key 为 cluserName
* broker集群信息,存储集群中所有broker名称
*/
private final HashMap> clusterAddrName;

/**
* key 为 brokerAddr
* broker状态信息,nameServer每次收到一台broker的心跳包后会更新该信息
*/
private final HashMap brokerLiveTable;

/**
* key 为 brokerAddr
* broker上filterServer列表,用于消息过滤
*/
private final HashMap> filterServerTable;
RocketMQ系列(二):nameServer_第2张图片
路由元信息.png

同一个集群,2主2从部署:


RocketMQ系列(二):nameServer_第3张图片
集群部署.png

Broker部署相对复杂,Broker分为Master与Slave,一个Master可以对应多个Slave,但是一个Slave只能对应一个Master,Master与Slave的对应关系通过指定相同的BrokerName,不同的BrokerId来定义,BrokerId为0表示Master,非0表示Slave。Master也可以部署多个。每个Broker与Name Server集群中的所有节点建立长连接,定时注册Topic信息到所有Name Server。

对应运行时的数据:

{
    "topicQueueTable":{
        "topic1":[
            {
            "brokerName":"broker-a",
            "readQueueNums":4,
            "writeQueueNums":4,
            "perm":6, // 读写权限
            "topicSynFlag":0 // topic同步标记
            },
            {
            "brokerName":"broker-b",
            "readQueueNums":4,
            "writeQueueNums":4,
            "perm":6, // 读写权限
            "topicSynFlag":0 // topic同步标记
            }
        ],
        "topic2":[]
    }
}
{
    "brokerAddrTable": {
        "broker-a": {
            "cluster":"c1",
            "brokerName":"broker-a",
            "brokerAddrs":{
                "0":"192.168.56.1:10000",
                "1":"192.168.56.2:10000"
    
            }
        },
        "broker-b": {
            "cluster":"c1",
            "brokerName":"broker-b",
            "brokerAddrs":{
                "0":"192.168.56.3:10000",
                "1":"192.168.56.4:10000"
    
            }
        }
    }
}
{
    "clusterAddrName":{
        "c1":[
            "broker-a",
            "broker-b"
        ]
    }
}
{
    "brokerLiveTable":{
        "192.168.56.1:10000": {
            "lastUpdateTimestamp":12412,
            "dataVersion":"versionOb1",
            "channel":"channelObj",
            "haServerAddr":"192.168.56.2:10000"
        },
        "192.168.56.2:10000": {
        },
        "192.168.56.3:10000": {
        },
        "192.168.56.4:10000": {
        }
    }
}

路由注册

rocketMq的路由注册是通过broker与NameServer的心跳功能实现的。broker启动的时候,向集群中的所有nameServer发送心跳语句,每隔30s向集群中的所有nameServer发送心跳。
nameServer收到心跳包时会更新brokerLiveTable缓存中的lastUpdateTimestamp。然后nameServer每10秒扫描一次brokerLiveTable,如果连续120s没有收到心跳包,nameServer将移除该Broker的路由信息,同时关闭netty socket连接。

nameServer与broker保持长连接。在操作路由表的时候(修改topicQueueTable、brokerAddrTable、brokerLiveTable)使用读写锁,来保证并发下的一致性。

你可能感兴趣的:(RocketMQ系列(二):nameServer)