【kafka】架构

一个kafka集群由多个 broker 组成

一个 broker可以容纳多个 topic（一个非常大的 topic 可以分布到多个 broker即服务器上）。Kafka 中消息是以 topic 进行分类的，topic是逻辑上的概念。

一个 topic 可分为多个 partition（有序队列）， partition 是物理上的概念。每个 partition 分为多个 segment。每个 segment 对应两个文件——“.index”索引文件和“.log”消息数据文件。

“.index”和“.log”文件位于一个文件夹下， 该文件夹的命名规则为：topic 名称+分区序号

一个partition（有序队列）leader，可以有多个Replica副本（follower）。leader 发生故障时，某个 follower 会成为新的 leader

Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所 有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。