kafka内部消费偏移

1.kafka的内部主题:__consumer_offsets,这个主题正常有50个分区,存放着消费组的消费偏移地址,这个消息的key是消费者组,这个主题是可以通过key进行压缩的(这里的压缩是指比如msg1和msg10的消息key都是同一个,压缩后只需保留最后一条msg10即可)
2.每个消费者组消费主题的时候需要从内部偏移量主题的开头开始找对应这个消费者组自己的偏移吗?
答案是否,其实这个内部消费主题的作用是保存消费者对应的偏移,当broker集群重启的时候,broker服务器会遍历这个内部偏移量主题,把消费者对应的偏移量的这个信息存放到broker的内存之中,所以当消费者重新消费主题的时候,从对应的broker内存即可知道这个消费者对应的消费偏移,消费者拿到偏移后就可以往后消费了

你可能感兴趣的:(kafka,kafka)