kafka 检查 consumer 位置

版本 2.11-1.0.0
有时观察到消费者的位置是有用的。我们有一个工具，可以显示 consumer 群体中所有 consumer 的位置，以及他们所在日志的结尾。要在名为my-group的 consumer 组上运行此工具，消费一个名为my-topic的 topic 将如下所示：

1.查看所有消费者组

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

2.查看某个消费者的进度

1）.bootstrap形式

> bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

注意：这将仅显示使用Java consumer API（基于非ZooKeeper的 consumer）的 consumer 的信息
有3个分区，有3个消费线程，同为my-group组

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
my-topic                       0          2               4               2          consumer-1-029af89c-873c-4751-a720-cefd41a669d6   /127.0.0.1                     consumer-1
my-topic                       1          2               3               1          consumer-1-029af89c-873c-4751-a720-cefd41a669d6   /127.0.0.1                     consumer-1
my-topic                       2          2               3               1          consumer-2-42c1abd4-e3b2-425d-a8bb-e1ea49b29bb2   /127.0.0.1                     consumer-2

疑问：CONSUMER-ID是怎么来的？有2个consumer-1开头一个consumer-2开头的

如果消费者线程数大于分区数，有消费者线程空置
有1个分区，2个消费者

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
test                           0          1               1               0          consumer-1-a59a7d10-a8d0-4140-8807-ca374213f316   /127.0.0.1                     consumer-1
-                              -          -               -               -          consumer-1-fb81ff35-6854-437b-bc1f-51429642c241   /127.0.0.1

2）.ZooKeeper形式

这个工具也适用于基于ZooKeeper的 consumer：

> bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group my-group

注意：这只会显示关于使用ZooKeeper的 consumer 的信息（不是那些使用Java consumer API的消费者）。

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID
my-topic                       0          2               4               2          my-group_consumer-1
my-topic                       1          2               3               1          my-group_consumer-1
my-topic                       2          2               3               1          my-group_consumer-2

3.重置某个消费者进度

1）重置至earliest
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group DemoConsumer --topic topic1 --reset-offsets --to-earliest --execute

–execute 必须带，否则虽然打印的信息一致，但是实际没有替换offset

[root@EMS3 kafka_2.11-1.0.0]# bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group DemoConsumer --topic topic1 --reset-offsets --to-earliest  --execute
Note: This will not show information about old Zookeeper-based consumers.

TOPIC                          PARTITION  NEW-OFFSET
topic1                         0          0

假设某消费进度如下，已经消费2条消息，并且是队列尾

CURRENT-OFFSET	LOG-END-OFFSET	LAG
2	2	0

重置后结果：尚未消费，跳至消息队列头

CURRENT-OFFSET	LOG-END-OFFSET	LAG
0	2	2

2）重置至latest
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group DemoConsumer --topic topic1 --reset-offsets --to-latest --execute

[root@EMS3 kafka_2.11-1.0.0]# bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group DemoConsumer --topic topic1 --reset-offsets --to-latest  --execute
Note: This will not show information about old Zookeeper-based consumers.

TOPIC                          PARTITION  NEW-OFFSET
topic1                         0          2

假设某消费进度如下,尚未消费，并且消息队列已经有2个数据

CURRENT-OFFSET	LOG-END-OFFSET	LAG
0	2	2

重置后结果：消费2个数据，并且是消息队列尾

CURRENT-OFFSET	LOG-END-OFFSET	LAG
2	2	0

3)跳至指定的offset
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group DemoConsumer --topic topic1 --reset-offsets --to-offset 0 --execute

细节就不贴出来了，就是跳至指定位置