kafka-03架构

1. kafka基础架构

1. Producer ：消费生产者，就是向 kafka broker 发消息的客户端，broker将该消息追加到当前用于追加数据的segment文件中，生产者发送的消息，存储到一个partition中；

2. Consumer ：消息消费者，向 kafka broker 取消息的客户端，kafka提供了两套consumerAPI：high-level Consumer API(高层抽象)和SimpleConsumer API；

3. Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负 责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所 有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

4. Broker ：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic【kafka集群包含一个或多个服务器，服务器节点称为broker 】。

5. Topic ：可以理解为一个队列，是逻辑上的概念，同一个Topic 的消息可以分布在一个或多个节点（Broker）上；一个Topic包含一个或多个Partition； 每条消息都属于且仅属于一个Topic； Producer发布数据时，必须指定该消息发布到哪一个Topic；Consumer订阅消息时，也必须指定订阅到那个Topic的消息；

6. Partition：是物理上的概念，一个非常大的 topic 可以分布到多个 broker（即服务器）上， 一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列；

• 一个Partition只分布于一个Broker上（不考虑备份）
• 一个Partition物理上对应一个文件夹
• 一个Partition包含多个Segment(Segment对用户透明)
• 一个Segment对应一个文件，Segment由一个个不可变记录组成
• 记录只会被append到Segment中，不会被单独删除或者修改
• 清除过期日志时，直接删除一个或多个Segment

7. Replication：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。

   Leader负责写入和读取数据，Follower只是负责备份的。

8. leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对 象都是 leader。

9. follower：每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据 的同步。leader 发生故障时，某个 follower 会成为新的 follower。

10. offset: 偏移量可以唯一的识别一条消息，决定读取数据的位置，不会有线程安全的问题，消费者通过偏移量来决定下次读取的消息，消息被消费后，并不能被马上删除，这样多个业务就可以重复使用kafka的消息

2. kafka的工作流程

Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic
的。

topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文 件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己 消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

3. 文件存储机制

由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位效率低下，Kafka 采取了分片和索引机制，将每个 partition 分为多个 segment。每个 segment对应两个文件–“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first-0,first-1,first-2。

• 分区下进行日志记录：同时为了避免大日志文件的产生，对日志文件进行分片；超过一定大小重新建立一个LogSegment。
• LogSegment中主要有.log 日志文件和 .index 偏移量索引文件；日志文件主要记录日志内容，偏移量索引文件，记录偏移量（offSet）和对应偏移量在日志文件中的起始读取点。

# The maximum size of a log segment file. When this size is reached a new log segment will be created.
log.segment.bytes=1073741824 

index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log文件的结构示意图。 index存储的是索引，二分查找法搜索

“.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元
数据指向对应数据文件中 message 的物理偏移地址。