Kafka的文件存储机制

在kafka中采用分区来存储数据,每个分区对应一个log文件,生产者每次生产的数据都追加到该文件之后,为了防止文件过大,在分区中又采用了分片索引机制,以提高数据定位的效率,每个个分片称为一个segment,没个segment中包含.index \ .log \ .timeindex文件,index文件中保存的是稀疏索引,大约没往log中写入4K左右的数据就会生成一条索引,offset采用相对offset以节省存储index文件的存储空间

你可能感兴趣的:(kafka,分布式)