kafka消息是通过主题来进行组织和区分的，每个主题有分为零个或多个分区，分区数量可以在创建时指定也可以后期修改，不过修改只能增加不能删除，每个分区又有一个或多个副本，副本中会有一个副本被选做Leader副本，该副本对外提供读写操作，其他副本则是Follower。生产者发送消息到Leader副本的代理节点上，Follower副本从Leader同步数据。


分区的每个副本对应到一个Log对象，每个Log有划分为多个LogSegment，每个LogSegment包括一个日志文件和两个索引文件，其中两个索引文件分别是偏移量索引文件和时间戳索引文件。Log和LogSegment是逻辑概念，日志文件和索引文件才是物理存储对象，下图为主题BBB三个分区的日志文件目录，每个分区对应一个目录。

下图为BBB主题0分区的日志文件（.log）和偏移量文件（.index）以及时间戳文件（.timeindex）。日志文件默认单个日志文件大小为1GB，可以通过修改配置文件来指定大小。Kafka提供日志切割机制，要么达到日志文件大小，如果没有达到大小阈值，但是达到了log.roll.ms或者log.roll.hours设置的值也会进行切割创建新的日志文件。

数据文件名称是一堆0，其实这就是数据文件的命名规则，它是由第一条消息的偏移量值然后左补0构成20位长度来形成的。

Kafka会把每个日志段的基准偏移量保存到ConcurrentSkipListMap集合中，通过二分法可以快速定位到消息所在的数据文件和索引文件，然后在索引文件中通过二分法，查找最小值等于指定偏移量的最大偏移量，最后从查找的最大偏移量出开始扫描数据文件，直到查询到偏移量与指定偏移量相等的消息。


日志目录中的锁文件

同一时刻只能由一个日志管理器实例或者线程来获取该锁文件，该文件只有在Kafka正常关闭后才会被删除，通过该文件可以判断Kafka上次是否正常关闭。


代理启动时会启动包括日志管理器在内的很多管理器，日志管理器是用来专门管理日志的。

  • 加载配置文件中的log.dir配置项所配置的路径，并检查路径是否存在，如果不存在就创建，并在这个日志目录下创建.lock锁文件，该文件只有kafka被正常关闭时才会删除。同时创建和加载日志检查点文件，如果不存在就创建，该文件记录每个主题每个分区下一次写入磁盘数据的偏移量

  • 然后根据检查点文件加载和恢复日志，它会产生一个线程池来完整这个工作。它会检查.kafka_cleanshutdown文件，当代理上一次正常关闭是才会有这个文件，如果不存在则表示第一次启动或者上一次没有正常关闭。

  • 线程开始恢复日志，在内部会为目录下每一个分区创建一个任务由线程池里的线程执行。

  • 完成后删除.kafka_cleanshutdown文件，同时关闭线程池。


日志清理：

Kafka提供两种日志清理策略，删除和压缩。通过参数cleanup.policy来指定清理策略。日志清理可以控制到主题级别，可以为不同主题创建不同的清理策略。

  • 日志删除，它是一个定时任务在日志管理器启动后会启动它。默认为5分钟执行一次。kafka提供了基于日志保留时长的删除策略和日志大小的策略，默认是168小时，也就是7天，日志被保留7天之后将会删除。默认不设置日志大小。日志保留时长不是通过日志文件的最后修改时间来确定的，它是基于时间戳索引进行的。

  • 日志压缩