Kafka学习笔记--Consumer的offset保存在哪里

前言

这两天看Kafka的文档,遇到一个问题,consumer的offset应该如何保存呢?

正文

参考这里:

Kafka学习笔记--Consumer的offset保存在哪里_第1张图片

以前是放在Kafka里面,但是Kafka用作持久化是没问题的,但是用作频繁写并不是太适合,所以,Kafka后来把对offset的保存放在了一个topic里面。

关于这一点,在官网也得到了验证:

Kafka学习笔记--Consumer的offset保存在哪里_第2张图片

存放的位置,这里有提到:

Kafka学习笔记--Consumer的offset保存在哪里_第3张图片

而我查看了本地的目录,看到:

Kafka学习笔记--Consumer的offset保存在哪里_第4张图片

一共有50个目录,根据一个目录一个partition的原则来看,被分成了50个partition。这里有更加详细的介绍。这里就把它当做独立的一个topic来理解,大体就明白了,只是客户端在完成了怎样的工作,这个offset会被提交给这个topic,需要继续研究一下。

总结

通过查阅了多篇文章,基本搞明白了这个概念。这些资料,是通过翻阅了很多篇文章,研究过才筛选出来,里面沉淀了很多时间和功夫,分享出来,以飨别人(来给别的需要的人带来方便)。

参考

https://stackoverflow.com/questions/45686885/how-does-kafka-store-offsets-for-each-topic

http://wanwenli.com/kafka/2016/11/04/Kafka-Group-Coordinator.html 

https://cwiki.apache.org/confluence/display/KAFKA/Offset+Management

你可能感兴趣的:(Kafka)