Kafka 入门篇(三)

文章目录

  • 提交和偏移量的概念
    • 特殊偏移
    • 自动提交
    • 提交当前偏移量
    • 异步提交
    • 同步和异步组合提交
    • 提交特定的偏移量

提交和偏移量的概念

特殊偏移

我们上面提到,消费者在每次调用poll() 方法进行定时轮询的时候,会返回由生产者写入 Kafka 但是还没有被消费者消费的记录,因此我们可以追踪到哪些记录是被群组里的哪个消费者读取的。消费者可以使用 Kafka 来追踪消息在分区中的位置(偏移量)

消费者会向一个叫做 _consumer_offset 的特殊主题中发送消息,这个主题会保存每次所发送消息中的分区偏移量,这个主题的主要作用就是消费者触发重平衡后记录偏移使用的,消费者每次向这个主题发送消息,正常情况下不触发重平衡,这个主题是不起作用的,当触发重平衡后,消费者停止工作,每个消费者可能会分到对应的分区,这个主题就是让消费者能够继续处理消息所设置的。

如果提交的偏移量小于客户端最后一次处理的偏移量,那么位于两个偏移量之间的消息就会被重复处理

Kafka 入门篇(三)_第1张图片
如果提交的偏移量大于最后一次消费时的偏移量&

你可能感兴趣的:(Java生态圈,kafka,java,分布式)