kafka的概念

Topic

Topic（主题）是消息的逻辑分类或通道。它是Kafka中用于组织和存储消息的基本单元。一个Topic可以被看作是一个消息发布的地方，生产者将消息发布到一个特定的Topic，而消费者则订阅一个或多个Topic以接收消息。

Consumer group

Consumer Group（消费者组）： 为了扩展消费者并实现并行处理，多个消费者可以组成一个消费者组。每个分区只能由消费者组内的一个消费者处理，这样可以确保消息在每个分区内的有序处理。

Partition

每个topic可以有多个分区，每个分区中的消息是有序的。
生产者将消息发布到topic时，Kafka会根据一定的策略将消息分配到不同的分区。
消费者可以订阅整个topic，也可以选择订阅topic的特定partition。
每个topic可以划分为一个或多个partition，分区是Kafka中的基本存储单元。
分区允许水平扩展，每个分区可以独立地分布在不同的机器上，提高了Kafka的伸缩性和性能。

Parition的副本replice

为了提高可靠性和容错性，每个分区可以有多个副本（replica）。这些副本分布在不同的Broker上，确保即使其中一个Broker失效，仍然有其他副本可用。

Broker

Broker是指Kafka集群中的一个单独的Kafka服务器节点，负责存储和管理消息。

• 存储： Broker存储了消息的持久化副本，以确保消息的持久性。每个Topic的分区被分布在不同的Broker上，以实现分布式存储和水平扩展。

• Leader和Follower： 对于每个Topic的分区，一个Broker被选举为Leader，其余的为Follower。Leader负责处理读写请求，而Follower则同步Leader的数据，以提供容错和冗余。

• 消息的生产和消费： 生产者将消息发送到Topic，而消费者从Topic中消费消息。Broker协调这两个过程，确保消息被正确地传递给订阅了相应Topic的消费者。

• Broker负责存储和管理所有Topic的Partition数据，并协调Partition之间的数据同步和复制。