RocketMQ 简介 -- Broker

RocketMQ Broker

  • RocketMQ Broker
    • 概述
    • 处理Producer消息
    • 处理Consumer消息
    • 内部服务

概述

  • Broker即是物理上的概念,也是逻辑上的概念。多个物理Broker通过IP:PORT区分,多个逻辑Broker通过BrokerName区分。
  • 多个逻辑Broker组成Cluster。
  • Broker与Topic是多对多的关系。
  • Broker自身包含一个使用10911端口的NettyServer、一个10909的NettyServer,以及一个NettyClient。
  • HA通过10912端口提供服务,用于Broker内部各个部分的数据传输。
  • Broker是最重要的部分,包括持久化消息、Broker集群一致性(HA)、保存历史消息、保存Consumer消费偏移量、索引创建等。
  • Producer发送来的消息最终会通过CommitLog序列化到硬盘,执行序列化逻辑的类为AppendMessageCallback接口的实现类。
  • Broker序列化消息是顺序写,序列化文件保存在userHome/store/commitlog目录下,文件名为总偏移量。
  • 默认为异步刷盘、提交日志单个文件1个G、单个consumer队列文件为不到6M

处理Producer消息

Broker通过SendMessageProcessor.processRequest()处理Producer生成的消息,处理过程如下:

  1. 反序列化消息头为SendMessageRequestHeader对象实例。
  2. 构建消息上下文
  3. 执行前置钩子程序
  4. 处理message
    • 判断当前系统时间是否在Broker配置的服务时间之后,只有条件成立broker才提供服务。
    • 判断当前Broker是否允许写入
    • 判断Topic是否为默认Topic
    • 检查Topic是否存在于此Broker,不存在则尝试创建Topic
    • 检查消息头中的queueId是否大于等于Topic允许的最大对列数。
    • 处理retry和死信消息(如果消息的Topic为重试Topic,且重试次数大于最大重试次数则将消息放入死信Topic中)
    • 根据Broker的配置和消息的TRAN_MSG属性判断是否处理事务消息
    • 将消息转化后的MessageExtBrokerInner对象序列化通过MessageStore序列化到硬盘(从Broker不允许序列化、不允许写的Broker不允许序列化、Topic长度不能大于127、Mssage属性的长度不能大于32767、页缓存不能在忙的状态–根据时间判断)
    • 通过CommitLog将消息序列化到硬盘
      • 获取最新的MappedFile(因为是顺序写)后加锁
      • 获取MappedFile当前的写入位置
      • 从内存池(TransientStorePool)中获取内存,并将当前写入位置赋值到内存ByteBuffer中
      • 获取总偏移量(由于CommitLog下文件名是本文件起始位置在Broker提供服务后的偏移量位置,所以当前MappedFile的起始偏移量+文件写入偏移量为总偏移量)
      • 按照预定义格式将消息序列化到ByteBuffer中,具体序列化格式参见CommitLog.calMsgLength中的注释
      • 调用刷盘、HA逻辑,根据当前Broker的状态进行实际处理。
      • 将新的偏移量设置到MappedFile
      • 以上过程对TransactionMessage特殊处理,符合TRANSACTION_PREPARED_TYPE和TRANSACTION_ROLLBACK_TYPE类型的事务消息对Consumer不可见的逻辑,queueOffset为0。
  5. 执行后置钩子程序

处理Consumer消息

Broker通过PullMessageProcessor.processRequest()处理Consumer生成的消息,处理过程如下:

  1. 判断当前Broker是否允许读
  2. 根据消息头的ConsumerGroupName获取本地存储的Consumer订阅信息
  3. 从ConsumeQueue中的MappedFileQueue根据偏移量获得MappedQueue获取消息
  4. 从MappedQueue中根据偏移量获取消息返回

内部服务

Broker内部有各种服务用于实现特定的功能,简介如下:

  • IndexService,用于构建消息序列化文件的索引信息。将索引信息序列化到userName/store/index/当前时间文件中。
  • AllocateMappedFileService,用于分配SubmitLog序列化使用的MappedFile。
  • FlushConsumeQueueService,定时刷新ConsumeQueue到硬盘。
  • TransientStorePool,类似于内存池,供各个MappedFile在序列化时借用内存处理。
  • ScheduleMessageService,用于处理定时消息。
  • ReputMessageService,重新分布消息同时会触发重新索引
  • HAService,主、从Broker之间进行数据同步,只传输CommitLog序列化的消息。
  • CleanCommitLogService,默认删除72小时之前过期的CommitLog序列化的消息。
  • CleanConsumeQueueService,根据偏移量删除过期的ConsumeQueue,偏移量的值由最老的序列化消息文件决定。
  • PullRequestHoldService,用于执行之前为未到数据且请求偏移量为0的PullRequest操作(即新注册的Consumer),对于未找到数据的Pull操作不会返回给Consumer,而是待PullRequestHoldService本地代理请求。
  • ClientHousekeepingService,扫描Producer、Consumer、FilterServer中超过120s未活动的NettyChannel,将不活动的Channel删除。
  • FilterServerManager,此服务用于根据需要创建一到多个Java进程:FilterServer,FilterServer用于本地代理Consumer,过滤Broker的Message后给Consumer。

你可能感兴趣的:(RocketMQ,RocketMQ,Broker,简介)