kafka-2 架构介绍

2.1 kafka架构介绍

图2.1 kafka架构图

如图2.1kafka的架构图所示，整体来看，kafka架构中包含四大组件：生产者、消费者、kafka集群、zookeeper集群。

2.2 kafka各个组件

1、producer
生产者，生产者发送消息到指定的topic下，消息再根据分配规则append到某个partition的末尾。

2、consumer
消费者，消费者从topic中消费数据。其中，consumer又是以consumer group的形式实现其功能。消费者组，每个consumer属于一个特定的consumer group，可为每个consumer指定consumer group，若不指定则属于默认的group。
同一topic的一条消息只能被同一个consumer group内的一个consumer消费，但多个consumer group可同时消费这一消息。这也是kafka用来实现一个topic消息的广播和单播的手段，如果需要实现广播，一个consumer group内只放一个消费者即可，要实现单播，将所有的消费者放到同一个consumer group即可。用consumer group还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic。

3、kafka集群
是kafka的核心功能区，负责数据的存储与分发。

4、zookeeper集群
提供管理和调度，kafka是基于zookeeper协调管理的。Kafka集群中有一个broker会被选举为Controller，负责管理集群broker的上下线、所有topic的分区副本分配和leader的选举等工作。Controller的工作管理是依赖于zookeeper的。