Kakfa 入门到起飞 - Kafka 遭大家诟病了？因为啥？啥是再平衡？

Kafka 遭大家诟病了？因为啥？啥是再平衡？

再均衡是Kafka被大家诟病最多的一个点，再平衡是非常麻烦的一个事，那么就让我们来看看

到底什么是再平衡呢？

再平衡其实就是一个 协议，它规定了消费者组下的消费者如何分配主题下的分区
比如：topic有100个分区，一个消费者组内有20个消费者，在coordinator的控制下，一个消费者分配到5个分区，那么这个分配的过程就叫再平衡

那么什么时候会发生再平衡呢？

有3种情况会触发再平衡，

1. 消费者组内消费者发生变更，增加消费者、减少消费者、消费者宕机退出消费者组等
2. 主题下分区数发生变更，Kafka当前值支持增加分区，当增加分区时会触发再平衡
3. 当消费主题数发生变更时，会触发再平衡，

消费主题数变更的情况就是，当消费者组订阅主题通过正则或者通配符的方式，比如topic.*这样，当新增一个主题topic.A,那么相当于这个新增主题下的消息自动被当前消费者组订阅了，需要将分区进行分配，那么就会触发一次再平衡

---

下面我们逐个情况来看下：比如当前分区分配情况如下图，一个分区一个消费者，均匀分配

1、运行过程中，consumer4突然宕机，退出消费者组，触发再平衡，此时消费者组中所有消费者都要停下来，将当前4个分区重新分配给剩余3个消费者，这时就会有一个消费者分配到两个分区，如下图所示

2、运行过程中，有一个broker实例突然宕机，比如分区3所在的broker宕机了，那么分区3的leader分区（Kafka都是leader分区对外提供读写服务）就不可用了，此时会有分区3的副本分区会转换为leader分区继续提供服务的过程，但是只要broker宕机，就会触发再平衡
3、当我们给Topic主题增加一个分区，那么也会触发一次再平衡，比如Topic新增了一个分区4，那么要把分区4分配给一个消费者，如下图

4、消费者通过正则表达式的方式订阅主题，比如topic_//d ,订阅topic_1…topic_9 这样的主题，这时如果新增一个满足条件的主题，也会触发再平衡,如下图

---

那么为什么大家会诟病再平衡这个事呢？

因为在再平衡过程中，消费者组下的所有消费者需要暂停，无法从Kafka消费消息，这样Kafka的消费能力突然就下来了，如果Kafka集群比较大，几百个节点，那么再平衡会消耗非常多的时间，几分钟到几小时都有可能，这个时间内Kafka基本处于不可用状态

---

那么在生产中，我们怎么尽量避免发生再平衡呢？

很多情况下broker是误判消费者宕机了，认为服务器宕机了，

在消费者场景中，给我们提供了几个参数可以用来调优，减少Kafka误判的可能性
session.timeout.ms 参数设置，broker端在指定时间内没有收到消费者发送的心跳，那么就认为消费者宕机了，所以在网络不佳的情况下，我们可以将这个值设置的大一些

heartbeat.interval.ms 参数设置，发送心跳的频率，频率设置越高，越不容易被误判，但是不断发送心跳也会消耗更多资源，需要取舍

max.poll.interval.ms 参数设置，消费者每次拉取数据的时间间隔，默认5min 五分钟没有收到消费和拉取数据broker就认为这个消费者宕机了

推荐设置如下：

session.timeout.ms 设置为6s
heartbeat.interval.ms 设置为2s
max.poll.interval.ms 设置为处理消息最长耗时+1min