rocketMq-broker消息存储介绍

系列

rocketMq概念介绍

rocketMq-namesrv介绍

rocketMq-Topic创建过程

rocketMq-producer介绍

rocketMq-consumer介绍

rocketMq - rebalance介绍

rocketMq - 并发消费过程

rocketMq - 串行消费过程

rocketMq-broker介绍

rocketMq-broker消息存储介绍

rocketMq - commitLog

rocketMq - index介绍

rocketMq-延迟消息介绍

rocketMq-事务消息介绍

rocketMq消息查询

rocketMq和kafka的架构区别

rocketMq - master/slave同步


broker的消息存储做了那些事

    rocketMq的broker消息存储主要包括3个部分,分别commitLog的存储,consumeQueue的存储,index的存储,这章分享会把这三个过程分解清楚,同时会对里面涉及的存储位置的偏移量着重讲解清楚。

    1、commitLog的存储是producer发送消息给broker端broker同步处理的

    2、consumeQueue和index两者存储其实是一个定时任务从commitLog中获取偏移量然后存储过去的

    3、consumeQueue和index的存储 与 commitLog的存储是隔离开的,非同步的


broker的消息存储过程


rocketMq-broker消息存储介绍_第1张图片
消息存储过程

说明:分享自再说rocketmq消息存储。

    1、commitLog其实有两层够层,其中MappendFileQueue是逻辑的存储队列概念,里面保存着顺序增长的MappedFile文件。

    2、MappedFile文件是真正存储实际数据的文件

    3、在整个broker的存储体系中,MappedFile文件保存了commitLog、consumeQueue、Index等,是核心的数据结构。


broker的消息存储过程


rocketMq-broker消息存储介绍_第2张图片
注册消息消费函数

说明:参见BrokerController类

    1、其中sendProcessor就是broker端接收message的入口函数


rocketMq-broker消息存储介绍_第3张图片
处理发送消息

说明:参见SendMessageProcessor类

    1、这里我们先看下单个消息的处理过程,也就是sendMessage过程


rocketMq-broker消息存储介绍_第4张图片
组装消息并开始存储

说明:参见SendMessageProcessor类

    1、putMessage函数开始执行数据的保存


rocketMq-broker消息存储介绍_第5张图片
commitLog消息存储

说明:参见DefaultMessageStore类

    1、commitLog.putMessage开始进入commitLog的保存逻辑


rocketMq-broker消息存储介绍_第6张图片
获取mappedFile文件并存储消息

说明:参见CommitLog类

    1、先从mappedFileQueue获取最后一个MappedFile文件,如果为空就创建一个commitLog对应的MappedFile文件,文件命名以实际以文件大小命名,分别是00000000000000000000、00000000001073741824、00000000002147483648,文件名之间差1G=1024*1024*1224B=1073741824。每个commitLog的MappedFile文件大小是1G,剩余多余无非存入新消息就用填充字符填充到1G。

    2、mappedFile.appendMessage执行保存消息到MappedFile的动作


rocketMq-broker消息存储介绍_第7张图片
通过回调函数来执行message的保存

说明:参见MappedFile类

    1、这里我们以单个消息存储为例继续说明



rocketMq-broker消息存储介绍_第8张图片
计算存储位置及计算consumeQueue偏移

说明:参见CommitLog类

    1、做一些前置准备,包括计算下一个存储位置等



rocketMq-broker消息存储介绍_第9张图片
判断剩余空间

说明:参见CommitLog类

    1、这里有个特别的地方需要注意,就是如果剩余空间无法装下消息+8个字节的结束标识符,就默认结束了,结束标识符应该用于标识mappedFile是否结束。


rocketMq-broker消息存储介绍_第10张图片
按照格式写入缓存

说明:参见CommitLog类

    1、这里的消息写入过程我们分析暂时到写入缓存就结束了,真正实际上是还会有刷盘的动作的,这里暂时不展开分析,后续单独开一章刷盘的的分析。


rocketMq-broker消息存储介绍_第11张图片
消息存储格式

说明:

    commitLog的MappedFile文件中保存的数据格式如上图所示,在末尾不能保存整个消息的时候就会重新生成一个MappedFile文件,当然在末尾应该会有填充结束标识符,文件结束符是以特殊magic_code结束的,为BLANK_MAGIC_CODE=0xBBCCDDEE ^1880681586 +8;


comsumeQueue的存储过程


rocketMq-broker消息存储介绍_第12张图片
consumeQueue的保存过程

说明:参见DefaultMessageStore类

    1、该实现类是一个线程函数,内部通过run操作循环去commitLog去消息位移信息保存到consumeQueue当中



rocketMq-broker消息存储介绍_第13张图片
循环拉取commitLog消息并生成dispatch消息

说明:参见DefaultMessageStore类



dispatchList保存consumeQueue和index

说明:参见DefaultMessageStore类

    1、this.dispatcherList.addLast(new CommitLogDispatcherBuildConsumeQueue());

     2、this.dispatcherList.addLast(new CommitLogDispatcherBuildIndex());



rocketMq-broker消息存储介绍_第14张图片
consumeQueue保存操作



rocketMq-broker消息存储介绍_第15张图片
consumeQueue保存逻辑

说明:参见ConsumeQueue类

    1、ConsumeQueue的消息单元格式如下图。


rocketMq-broker消息存储介绍_第16张图片
ConsumeQueue的消息格式

你可能感兴趣的:(rocketMq-broker消息存储介绍)