kafka的基本框架概览

image.png

1. Producer：消息生产者，向kafka broker发消息的客户端
2. Consumer：消息消费者，向kafka broker取消息的客户端
3. Consumer Group（CG）：消费者组，由多个Consumer组成，消费者组内不同的消费者消费不同分区的数据，一个分区只能由一个组内消费者消费，消费者组之间互不影响。所有的消费者都属于一个消费者组。即消费者组是逻辑上的一个订阅者。
4. Broker：一台kafka服务器就是一个Broker。一个集群由多个Broker组成。一个Broker可以容纳多个Topic。
5. Topic：可以理解为一个队列，每个消费者和生产者都是面向队列的。
6. Partition：为了实现其扩展性，一个非常大的Topic可以分布到多个Broker（服务器）上，即一个Topic可以分为多个Partition，每个Partition都是一个有序的队列。
7. Replica：副本，为了保证某个集群中的某个节点发生故障时，该节点上Partition的数据不丢失，且整个Kafka集群依然能够正常工作，Kafka提供了副本机制，一个Topic的每个分区都有若干副本，一个Leader和若干的Follower。
8. Leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是Leader。
9. Follower：每个分区多个副本的“从”，实时从Leader中同步数据，保持和Leader数据的同步。Leader发生故障时，某个Follower会成为新的Leader。