kafka：与zookeeper的联系是什么？

我们先看一张图，zookeeper的存储结构图：

可以看到在zookeeper中存储的信息有broker，consumer等重要znode信息。

可以感知到，每个kafka节点会在zookeeper中注册该机器的配置信息。

然后注册完的kafka节点的topic信息会存在topics目录下面。

根据zookeeper目录列表可以看到，zookeeper存储了kafka集群的所有信息，那么发送和接收消息是怎样的流程呢？
     

 kafka的发送与接收

发送：kafka的发送程序（代码）会指定broker服务地址，那么消息的发送会直接发送到broker提供的地址中。

如果地址是列表（指定了多个broker地址），那么则随机选择一个可用的发送。接收到消息的kafka机器会向zookeeper查询拥有该topic下partition决定权（leader）的机器，然后由该leader选择机器存储数据，最终存储数据。
接收：kafka的接收会指定zookeeper地址，那么接收到消费任务的zookeeper将任务报告给该topic下partition的leader，由该leader指定follower完成数据的获取并返回。

Zookeeper上的细节：

1. 每个broker启动后会在zookeeper上注册一个临时的broker registry，包含broker的ip地址和端口号，所存储的topics和partitions信息。

2. 每个consumer启动后会在zookeeper上注册一个临时的consumer registry：包含consumer所属的consumer group以及订阅的topics。

3. 每个consumer group关联一个临时的owner registry和一个持久的offset registry。

对于被订阅的每个partition包含一个owner registry，内容为订阅这个partition的consumer id。

同时包含一个offset registry，内容为上一次订阅的offset。

 

原文参考：https://blog.csdn.net/u013735511/article/details/75505677