RocketMQ(八)——消息的存储

RocketMQ中的消息存储在本地文件系统中，这些相关文件默认在当前用户主目录下的store目录中。

image.png

• abort：该文件在Broker启动后会自动创建，正常关闭Broker，该文件会自动消失。若在没有启动Broker的情况下，发现这个文件是存在的，则说明之前Broker的关闭时非正常关闭
• checkpoint：其中存储着commitlog、consumequeue、index文件的最后刷盘时间戳
• commitlog：存放commitlog文件，而消息是写在commitlog文件中的
• config：存放着Broker运行期间的一些配置数据
• consumequeue：存放consumequeue文件，队列存放在这个目录
• index：存放着消息索引文件indexFile
• lock：运行期间使用到的全局资源锁

1.commitlog文件

说明：在很多资料中commitlog目录中的文件简单就称为commitlog文件。但在源码中，该文件被命名为mappedFile。

目录与文件
commitlog目录中存放着很多的mappedFile文件，当前Broker中的所有消息都落盘到这些mappedFile文件中。mappedFile文件大小为1G。文件名由20位十进制数构成，表示当前文件的第一天消息的起始位置偏移量。

第一个文件名一定是20位的0。因为第一个文件的第一条消息的偏移量commitlog offset为0
当第一个文件放满时，则会自动生成第二个文件继续存放消息。加入第一个文件大小是1073741820字节，则第二个文件名就是 00000000001073741824 。
以此类推，第n个文件名应该是n-1个文件大小之和。
一个Broker中所有mappedFile文件的commitlog offset是连续的

需要注意的是，一个Broker中仅包含一个commitlog目录，所有的mappedFile文件都是存放在该目录中的。即无论当前Broker中存放着多少Topic的消息，这些消息都是被顺序写入到了mappedFile文件中的。也就是说，这些消息在Broker中存放时并没有被按照Topic进行分类存放。

mappedFile文件时顺序读写的文件，所以其访问效率很高

消息单元

image.png

mappedFile文件内容由一个个的消息单元构成。每个消息单元包含消息总长度MsgLen、消息的物理位置physicalOffset、消息内容Body、消息体长度BodyLength、消息主题Topic、Topic长度TopicLength、消息生产者BornHost、消息发送时间戳BornTimestamp、消息所在的队列QueueId、消息在Queue中存储的偏移量QueueOffset等近20个相关属性。

2.consumequeue

image.png

目录与文件
为了提高效率，会为每个Topic在~/store/consumequqeue中创建一个目录，目录名称为Topic名称。在该Topic目录下，会再为每个该Topic的Queue建立一个目录，目录名为queueId。每个目录中存放着若干consumequeue文件，consumequeue文件是commitlog的索引文件，可以根据consumequeue定位到具体的消息。

consumequeue文件名也是由20位数字构成，表示当前文件的第一个索引条目的起始位移偏移量。与mappedFiel文件名不同的是，其后续文件名是固定的。因为consumequeue文件大小是固定不变的。

索引条目

image.png

每个consumequeue文件可以包含30W个索引条目，每个索引条目包含了三个消息的重要属性：消息在mappedFile文件中的偏移量CommitLog Offset、消息长度、消息Tag的hashcode值。这三个属性占20个字节，所以每个文件打大小是固定的30W * 20字节。

一个consumequeue文件中所有的消息Topic一定是相同的。但每条消息的Tag可能是不同的

3.对文件的读写

image.png

消息写入
一条消息进入到Broker后经历了以下几个过程才最终被持久化。

• Broker根据queueId，获取到该消息对应索引条目要在consumequeue目录中的写入偏移量，即QueueOffset。
• 将queueId、queueOffset等数据，与消息一起封装为消息单元
• 将消息单元写入到commitlog
• 同时，形成消息索引条目
• 将消息索引条目分发到相应的consumequeue

消息拉取

• 当Consumer来拉取消息时会经历以下几个步骤：
  consumer获取到消费消息所在Queue的消费偏移量offset，计算出其要消费消息的offset

offset即消费进度，consumer对某个Queue的消费offset，即消费到了该Queue的第几条消息

• Consumer向Broker发送拉取请求，其中会包含其他要拉取消息的Queue、消息offset及消息Tag。
• Broker计算在consumerqueue中的queueOffset
• 从该queueOffset处开始向后查找第一个指定Tag的索引条目。
• 解析该索引条目的前8个字节，即可定位到该消息在commitlog中的commitlog offset
• 从对应commitlog offset中读取消息单元，并发送给Consumer

性能提升
RocketMQ中，无论是消息本身还是消息索引，都是存储在磁盘上的。系统通过一系列的机制大大提升了性能。
首先，RocketMQ对文件的读写操作是通过mmap零拷贝进行的，将对文件的操作转化为直接对内存地址进行操作，从而极大地提高了文件的读写效率。
其次，consumequeue中的数据是顺序存放的，还引入了PageCache的 预读取机制，使得对consumequeue文件得读取几乎接近于内存读取，即使在有消息堆积得情况下也不会影响性能。

mmap 通过内存映射，将文件映射到内核缓冲区，同时，用户空间可以共享内核空间的数据。这样，在进行网络传输时，就可以减少内核空间到用户空间的拷贝次数。

PageCache机制，页缓存机制，是OS对文件得缓存机制，用于加速对文件得读写操作。一般来说，程序对文件进行顺序读写的速度几乎接近于内存读写速度，主要原因是由于OS使用PageCache机制对读写访问操作进行性能优化，将一部分的内存用作PageCache。

4.与Kafka的对比

Rocket的很多思想来源于Kafka，其中commitlog与consumequeue就是。

RocketMQ中的commitlog目录与consumequeue的结合就类似于Kafka中的partition分区目录。mappedFile文件就类似与Kafka中的segment段。

Kafka中的Topic的消息被分割为一个或多个partition。partition是一个物理概念，对应到系统上就是topic目录下的一个或多个目录。每个partition中包含的文件称为segment，是具体存放消息的文件。
Kafka中消息存放的目录结构是：topic目录下有partition目录，partition目录下有segment文件