kafka是如何通过offset定位一条消息的？

1. Kafka文件结构

     Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic
的。topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文
件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该
log 文件末端，且每条数据都有自己的 offset（偏移量）。消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

       由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位效率低下，Kafka 采取了 分片和 索引机制（默认产生1G数据时候进行分片），将每个 partition 分为多个 segment。每个 segment对应两个文件--“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first-0,first-1,first-2。

index 和 log 文件以当前 segment 的第一条消息的 offset 命名。如下所示：

 我们用下面这张图来记住刚才所描述的问题： 

其中 index 文件和 log文件的结构示意图如下图所示：

 “.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元数据指向对应数据文件中 message 的物理偏移地址。

2. 具体的kafka是如何通过offset定位一条消息的呢？

如下图所示：

 index文件的序号就是message在日志文件中的相对偏移量
OffsetIndex是稀疏索引，也就是说不会存储所有的消息的相对offset和position
消息检索的过程，以这个partition目录下面，00000000001560140916为例：
定位offset为1560140921的message

① 定位到具体的segment日志文件，采用二分法先定位到index索引文件
由于log日志文件的文件名是这个文件中第一条消息的offset-1。
因此可以根据offset定位到这个消息所在日志文件：00000000001560140916.log
这个过程是利用二分法进行查找的。

② 计算查找的offset在日志文件的相对偏移量
segment文件中第一条消息的offset = 1560140917
计算message相对偏移量：
需要定位的offset - segment文件中第一条消息的offset + 1 = 1560140921 - 1560140917 + 1 = 5
查找index索引文件， 可以定位到该消息在日志文件中的偏移字节为456。
综上，直接读取文件夹00000000001560140916.log中偏移456字节的数据即可。
1560140922 -1560140917 +1 = 6 如果查找的offset在日志文件的相对偏移量在index索引文件不存在，可根据其在index索引文件最接近的上限偏移量，往下顺序查找。

segment index file采取稀疏索引存储方式，即<偏移量、位置>，它减少索引文件大小，通过map可以直接内存操作，稀疏索引为数据文件的每个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来需要消耗更多的时间。

3. 总结

1. topic是逻辑概念，partition是物理概念。
2. .log文件存放实际数据，生产者的数据都会追加到.log文件中。
3. 为防止.log文件过大导致数据定位效率低下，kafka采取了分片和索引机制，将partition分为多个segment，分别进行索引。
4. .index文件存储大量的索引信息，.log文件存储大量的数据，索引文件中的元数据指向对应数据文件中Message的物理偏移地址。

参考链接：kafka是如何通过offset定位一条消息的？_石榴姐yyds-CSDN博客_kafka如何快速定位数据