RocketMQ的核心概念以及架构图

一、架构图以及角色

1、架构图

2、角色

2.1、Broker

• 理解成RocketMQ本身

• broker主要用于producer和consumer接收和发送消息

• broker会定时向nameserver提交自己的信息

• 是消息中间件的消息存储、转发服务器

• 每个Broker节点，在启动时，都会遍历NameServer列表，与每个NameServer建立长连接，注册自己的信息，之后定时上报

2.2、Nameserver

• 理解成zookeeper的效果，只是他没用zk，而是自己写了个nameserver来替代zk

• 底层由netty实现，提供了路由管理、服务注册、服务发现的功能，是一个无状态节点

• nameserver是服务发现者，集群中各个角色（producer、broker、consumer等）都需要定时向nameserver上报自己的状态，以便互相发现彼此，超时不上报的话，nameserver会把它从列表中剔除

• nameserver可以部署多个，当多个nameserver存在的时候，其他角色同时向他们上报信息，以保证高可用，

• NameServer集群间互不通信，没有主备的概念

• nameserver内存式存储，nameserver中的broker、topic等信息默认不会持久化，所以他是无状态节点

2.3、Producer

• 消息的生产者
• 随机选择其中一个NameServer节点建立长连接，获得Topic路由信息（包括topic下的queue，这些queue分布在哪些broker上等等）
• 接下来向提供topic服务的master建立长连接（因为rocketmq只有master才能写消息），且定时向master发送心跳

2.4、Consumer

• 消息的消费者

• 通过NameServer集群获得Topic的路由信息，连接到对应的Broker上消费消息

• 由于Master和Slave都可以读取消息，因此Consumer会与Master和Slave都建立连接进行消费消息

3、核心流程

• Broker都注册到Nameserver上
• Producer发消息的时候会从Nameserver上获取发消息的topic信息
• Producer向提供服务的所有master建立长连接，且定时向master发送心跳
• Consumer通过NameServer集群获得Topic的路由信息
• Consumer会与所有的Master和所有的Slave都建立连接进行监听新消息

二、核心概念

1、Message

消息载体。Message发送或者消费的时候必须指定Topic。Message有一个可选的Tag项用于过滤消息，还可以添加额外的键值对。

2、topic

消息的逻辑分类，发消息之前必须要指定一个topic才能发，就是将这条消息发送到这个topic上。消费消息的时候指定这个topic进行消费。就是逻辑分类。

3、queue

1个Topic会被分为N个Queue，数量是可配置的。message本身其实是存储到queue上的，消费者消费的也是queue上的消息。多说一嘴，比如1个topic4个queue，有5个Consumer都在消费这个topic，那么会有一个consumer浪费掉了，因为负载均衡策略，每个consumer消费1个queue，5>4，溢出1个，这个会不工作。

4、Tag

Tag 是 Topic 的进一步细分，顾名思义，标签。每个发送的时候消息都能打tag，消费的时候可以根据tag进行过滤，选择性消费。

5、Message Model

消息模型：集群（Clustering）和广播（Broadcasting）

6、Message Order

消息顺序：顺序（Orderly）和并发（Concurrently）

7、Producer Group

消息生产者组

8、Consumer Group

消息消费者组

三、ACK

首先要明确一点：ACK机制是发生在Consumer端的，不是在Producer端的。也就是说Consumer消费完消息后要进行ACK确认，如果未确认则代表是消费失败，这时候Broker会进行重试策略（仅集群模式会重试）。ACK的意思就是：Consumer说：ok，我消费成功了。这条消息给我标记成已消费吧。

四、消费模式

1、集群模式（Clustering）

1.1、图解

1.2、特点

• 每条消息只需要被处理一次，broker只会把消息发送给消费集群中的一个消费者
• 在消息重投时，不能保证路由到同一台机器上
• 消费状态由broker维护

2、广播模式（Broadcasting）

2.1、图解

2.2、特点

• 消费进度由consumer维护

• 保证每个消费者都消费一次消息

• 消费失败的消息不会重投