最大的AI工具目录：Futurepedia-TheLargestAIToolsDirectory|Home生成图片或PPT：Tome-TheAI-poweredstorytellingformat生成Commitlog

一、CommitLogRocketMQ通过使用内存映射文件来提高IO访问性能，无论是CommitLog、ConsumeQueue单个文件都被设计为固定长度，如果一个文件写满以后再创建一个新文件，文件名就为该文件第一条消息对应的全局物理偏移量

commitlog规范的意义：便于程序员对提交历史进行追溯，了解发生了什么情况。

Kafka社区将其清晰地定位为一个分布式、分区化且带备份功能的提交日志（CommitLog）服务。

bug需要切到上次提交发布版本Git中的HEAD解释#使用最新一次提交重制暂存区gitresetHEAD--filename#使用最新一次提交重制暂存区和工作区gitreset--hardHEAD#将commitlog

IndexFile文件讲解 之前说了RocketMQ的物理日志文件CommitLog和逻辑日志文件ConsumeQueue。现在说的是对应的消息索引文件IndexFile。

RocketMq源码随笔-过期文件的删除引言RocketMQ中文件的存储是分为3个不同的部分：CommitLog，提交日志。所有主题、队列的消息数据都是直接写入这一文件。

上面是从官网上找的一张图，producer发送消息后，由broker生成CommitLog与ConsumerQueue文件，然后consumer根据ConsumerQueue里获取消息在commitLog

文章目录Broker整体流程Broker消息存储Broker启动源码Broker消息写入源码CommitLog写入ConsumeQueue与IndexFile写入Broker核心设计NRS与NRC的功能号设计

前言这周更晚了一天，这周的内容可能相对于前些章来说会稍微繁琐一些，但是依然还是干货满满，相信追剧到这里的博友，都是志同道合的老友了，这章主要进阶一波，深入理解一下rocketMQ的一些原理知识，废话不多说，开干！1.首先解答前期铺垫的pull和push两种消费模式的区别之前的章节中有做过一个铺垫，这里就不多提了，简单的来讲，push和pull本质上消费模式是一样的，都是消费者机器主动发送请求到br

RocketMQ主要存储文件包括，commitLog、consumeQueue、indexFile，所有主题消息都顺序存储在一个文件中，以确保消息的顺序写；同时，RocketMQ又引入了consumeQueue

目录消息存储概述CommitLogConsumeQueueIndexFile刷盘机制源代码同步刷盘异步刷盘消息存储概述RocketMQ默认的消息存储路径在/root/store/生产者每次投递的消息都存储在commitLog

三.对比一.kafka存储结构二.rocketMq存储结构三.对比kafka将不同partition的log分开存储，而rockerMq收敛到一个commitLog中。

RocketMQ4.x和RocketMQ5.0在CommitLog的设计上面基本上没有太多调整，还是沿用了之前的设计。下面来对CommitLog的设计思想和源码进行分析。

刷盘策略CommitLog的asyncPutMessage方法中可以看到在写入消息之后，调用了submitFlushRequest方法执行刷盘策略：publicclassCommitLog{publicCompletableFutureasyncP

程序员应该写出简洁明了的commitlog，否则对别人和自己来说就是一种困扰。最近代码review多了，总有一股想笑的感觉。就像下图这满屏的ok，永远无法从中得知

commitlog目录与文件image.pngcommitlog目录中存放着很多的mappedFile文件，当前Broker中所有的消息都是落盘到这些mappedFile文件中的，mappedFile文件大小为

这门专栏的撰写开始于2021年5月中旬，翻看我用于管理专栏原始文稿的github仓库的commitlog记录，这一有纪念价值的日子被精确定位在5月16日：从那时开始，我便进入了专栏的节奏。

源码版本是4.9.2主要的存储组件有如下4个：CommitLog：存储的业务层，接收“保存消息”的请求MappedFile：存储的最底层对象，一个MappedFile对象就对应了一个实际的文件MappedFileQueue

在同步刷盘模式下，当消息写到内存后，会等待数据写到磁盘的CommitLog文件。

消息可能只是被写入了内存的PAGECACHE，写操作的返回快，吞吐量大；当内存里的消息量积累到一定程度时，统一触发写磁盘操作，快速写入RocketMQ默认采用异步刷盘，异步刷盘两种策略：开启缓冲池，不开启缓冲池CommitLog

在消息不断的发送给Broker，Broker又不断的把消息储存在Commitlog文件、ConsumeQueue文件、IndexFile文件里，磁盘总会有用完的那一刻。

前面提到了ConsumeQueue和IndexFile是通过ReputMessageService线程异步同步commitlog日志文件信息的，如果Commitlog日志文件写入成功后，Broker宕机

为了保证消息不丢失，RocketMQ会把消息进行持久化，也就是说，会把消息写入commitlog的日志，这个目录是在store下面。

程序员应该写出简洁明了的commitlog，否则对别人和自己来说就是一种困扰。最近代码review多了，总有一股想笑的感觉。就像下图这满屏的ok，永远无法从中得知提交人的意图。

什么样的请求打到从主挂了的后续动作主从同步过程主从同步过程.png首先启动Master并在指定接口监听Slave启动，主动连接Master，简历TCP连接Slave以5秒的时间间隔向Mater拉取消息，如果是第一次拉取的话，先获取本地commitLog

(1)CommitLog：消息主体以及元数据的存储主体，存储Producer端写入的消息主体

前文有简单的提到RocketMQ的底层文件存储模型，基于该存储模型之上再简单的探索一下CommitLog的一个底层设计，思考RocketMQ如何做到高性能？

，如果要实现某一类消息的顺序执行，就必须将这类消息发送到同一个队列，可以在消息发送时使用MessageQueueSelector，通过指定shardingkey进而将同一类消息发送到同一队列里，这样在CommitLog

通过上一篇我们已经知道只有先从ConsumerQueue里获取到了CommitLog物理偏移量后才可以快速的从CommintLog里找到对应的message。

上面是从官网上找的一张图，producer发送消息后，由broker生成CommitLog与ConsumerQueue文件，然后consumer根据ConsumerQueue里获取消息在commitLog

存储概述RocketMQ存储的文件主要包括Commitlog文件、ConsumeQueue文件、Index文件。RocketM

存储概述RocketMQ存储的文件主要包括Commitlog文件、ConsumeQueue文件、Index文件。RocketM

存储概述RocketMQ存储的文件主要包括Commitlog文件、ConsumeQueue文件、Index文件。RocketM

1、存储概述RocketMQ存储的文件主要包括Commitlog文件、Con

[署名4.0国际(CCBY4.0)]本文作者:Nicksxs创建时间:2021-09-12本文链接:聊一下RocketMQ的消息存储二CommitLog是rocketmq的服务端，也就是broker存储消息的的文件

这么做是还是在于其Producer端写入消息和Consomer端订阅消息采用分离存储的机制来实现的，Consumer端订阅消息是需要通过ConsumeQueue这个消息消费的逻辑队列拿到一个索引，然后再从CommitLog

1、概述查看其目录文件commitlog：消息的存储目录config：运行期间一些配置信息consumequeue：消息消费队列存储目录index：消息索引文件存储目录abort：如果存在abort文件说明

kafka是一个分布式的，分区的消息（commitlog）服务。

(1)CommitLog：消息主体以及元数据的存储主体，存储Producer端写入的消息主

修改指定commit修改commitlog中的其中一条commit如果本地有10次提交，第4次的提交有问题，需要修改commit的信息，并且需要修改代码重新提交gitrebase-iHEAD~5找到需要修改的

都存什么commitLog文件consumeQueue文件indexFile文件报错文件等等存在哪存在每个broker的磁盘中commitLog文件是什么？消息真正存储的地方。

1）commitlog：消息存储目录。2）config：运行期间一些配置信息，主要包括下列信息。consumerFilter.json：主题消息过滤信息。

接上面说到metaq也就是rocketMq的特性及适用场景,以及代码实现1存储特点（1）消息主体以及元数据都存储在**CommitLog**当中,所有的消息都是持久化的.（2）ConsumeQueue是一个逻辑队列

消息存储的结构1、RocketMQ消息的存储结构image.png2、存储特点如上图所示：1、消息主体以及元数据都存储在CommitLog文件当中，完全顺序写，随机读2、ConsumeQueue相当于kafka

1、mmap技术：Broker读写磁盘文件的核心技术Broker中就是大量的使用mmap技术去实现CommitLog这种大磁盘文件的高性能的读写优化的。

程序员应该写出简洁明了的commitlog，否则对别人和自己来说就是一种困扰。最近代码review多了，总有一股想笑的感觉。就像下图这满屏的ok，永远无法从中得知提交人的意图。

程序员应该写出简洁明了的commitlog，否则对别人和自己来说就是一种困扰。最近代码review多了，总有一股想笑的感觉。就像下图这满屏的ok，永远无法从中得知提交人的意图。

这么做是还是在于其Producer端写入消息和Consomer端订阅消息采用分离存储的机制来实现的，Consumer端订阅消息是需要通过ConsumeQueue这个消息消费的逻辑队列拿到一个索引，然后再从CommitLog

首先我们回顾一下上一篇文章深入研究Broker是如何持久化的中，producer发送消息给Broker后，首先将消息写入到CommitLog日志文件中，然后会把具体的Messa