记用 SpringBoot 消费 Kafka 过程中的一次问题排查

1、现象

最近在接受公司Kafka的集群,之前公司重启一台服务器的时候出现重复消费的情况,所以就跟消费端的服务一起联调查册。消费端目前有两个服务,但是在测试的过程中发现其中一个服务可以接受到数据,但是另一个服务端却接受不到数据。于是查看了一下它的日志,关键日志如下:

[INFO] org.apache.kafka.clients.consumer.internals.AbstractCoordinator - Successfully joined group group-id-test with generation 81
[INFO] org.apache.kafka.clients.consumer.internals.ConsumerCoordinator - Setting newly assigned partitions [] for group group-id-test

根据日志发现,完全没有 partition 分配给我们去消费。。。
而且每次启动的情况不一样,有事有分配到,有时没有分配到。。


2、分析

因为 topic 的 partition对于consumer的分配会随着 partition数量的变化 和 相同 groupId 的 consumer 的变化而 动态分配,所以我猜测在另一台机器上已经有一个相同 groupId 的程序在消费着同一个 topic。
注:我这里比较特殊,这个 topic 的 partition 为 1,Kafka 的版本为 0.10.2.0。


3、探索

可以通过 Kafka 提供的工具来查看该 groupId 对应的消费情况,具体命令如下:

##纯手打。。
bin/kafka-consumer-groups.sh --bootstrap-server XXX:9092 --group your-group-id --describe

就可以看到该 group-id 对应的消费的情况
我发现 我消费的 topic 这一行中的 hostId 有值,且不是本地的IP!
(由于是在内网,所以就没有截图了)

所以我的分析是对的


你也可以通过代码测试一下,启动两个程序用相同的groupID去消费同一个topic,你会发现每次 consumer 端启动或者停止的时候,partition 都会 重新分配给 consumer。。

你可能感兴趣的:(Kafka)