深入浅出kafka-broker相关原理

1 、 broker管理之leo hw 含义 41}

leo ： log and offset 每partion 收到1条消息都更新自己的 offset

leo = offset +1

Hw ：高水位 LEO 功能是更新hw ，如果follower和leader的 leo 同步了hw就可以更新
hw 之前的消息对消费者可见，是commit的

2、 leo更新 42}

follwer 带上自己的leo 去拉副本，更新leader的leo记录

3、 hw 更新 43}

leader： hw 取leo 最小值
follower： 自己leo 和 leader 的leo的最小值

4、controller 管理集群 44}

竞争在zk上创建目录，最先成功的是controller
通过监听zk的 很多目录，读取集群元数据，分发给其他broker

zk目录：
/broker/ids/0,1,2 感知上下线
/broker/topics 创建主题
/admin/reassign_partitions 分区重新分配

5、 延时任务 45}

image.png

6、时间轮 46} 0:10

image.png

image.png