Kafka - Rebalance过程

1.kafka的rebalance条件

条件1：有新的consumer加入
条件2：旧的consumer挂了
条件3：coordinator挂了，集群选举出新的coordinator（0.10 特有的）
条件4：topic的partition新加
条件5：consumer调用unsubscrible()，取消topic的订阅

当一个group中,有consumer加入或者离开时,会触发partitions均衡,均衡的最终目的,
是提升topic的并发消费能力。

1.Coordinator介绍

Coordinator简单的总结一下就是负责协调组内partition分配，以及Group的管理，
每个Broker上都有一个GroupCoordinator的实例

负载均衡的过程涉及以下的几个概念：

group member：一个消费组类的成员
group leader：一个消费组的leader，负责分配partition
coodinator：协调者

涉及以下几个请求：
GroupCoordinatorRequest（GCR）
JoinGroupRequest（JGR）
SyncGroupRequest（SGR）

2.主要流程

2.1 发送GCR请求寻找Coordinator：
这个过程主要会向集群中负载最小的broker发起请求，等待成功返回后，那么该Broker将作为 Coordinator，尝试连接该Coordinator
2.2 发送JGR请求加入该组：
当成功找到Coordinator后，那么就要发起加入group的请求，表示该consumer是该组的成员，Coordinator会接收到该请求，会给集群分配一个Leader（通常是第一个），让其负责partition的分配
2.3 发送SGR请求：
JGR请求成功后，如果发现当前Consumer是leader，那么会进行partition的分配，并发起SGR请求将分配结果发送给Coordinator;如果不是leader，那么也会发起SGR请求，不过分配结果为空
流程图如下:

链接：https://www.jianshu.com/p/296c28d0bb61