Part1：kafka基础知识

1、kafka 名词解释

（1）消息：

消息是kafka中最基本的数据单元，主要由key 和 Value 构成，均为 byte数组。

（2）topic：

Topic是用于存放消息的逻辑概念，是一个消息集合，每个 topic 可以有多个生产者进行数据生产，同时也可以有多个消费者进行数据消费。

（3）分区（partition）

一个 topic 可以划分为多个partition ,同一个partition 下的消息是同一类型，同时该 partition 下的消息会被分配一个唯一的编号-offset.（同一 Topic 的多个 partition 内的message 是不保证顺序的，但是同一个 partition 中的 message 是有顺序的)
同一个 Topic 中的不同 partition 会被分配到不同的 Broker 上，partition是kafka 水平拓展的基础。

（4）Log

Log 是一个逻辑概念，将生产者将消息写入到 partition 中时，实际上是将数据写入到了 partition 对应的 Log 中。
Log 由多个 Segment组成，每个 Segment 对应一个日志文件或者索引文件，

（5）保留策略（Retention Policy）

Retention Policy:是一种数据保留策略，避免磁盘被占满。
Retention Policy 有两个实现方式：根据消息保存时间进行清理，根据 Topic partition日志文件阀值进行清理

（6）Log Compaction

Kafka可以在后台开启一个新的进程进行 value 压缩，只保留最新的 Value 值。

（7）Broker

Broker的主要工作就是接收 producter message ，分配 offset,之后持久化到磁盘。
处理consumer，other broker的请求

（8）Replica

Kafka对消息进行了冗余备份（存在一个 Leader replica，多个 Follower replica）

（9）ISR

ISR 是 replica 集合，它是由Leader replica 管理的，leader会追踪和维护ISR中所有follower的滞后状态。如果滞后太多（数量滞后和时间滞后两个维度，replica.lag.time.max.ms和replica.lag.max.message可配置），leader会把该replica从ISR中移除。被移除ISR的replica一直在追赶leader。满足ISR的replica需要满足两个条件：

replica所在的节点必须与zk保持着连接
replica last offset与Leader replica last offset 之间的差值在一定的阀值内

（10）HW（High Wartrmark）

HW标记了一个特殊的offset, 同事HW之前的消息状态为commit，也就说HW之前的消息Leader replica 与Follower replica是同步的。consumer 进行消费时只能消费到HW之前的数据。

（11）LEO（Log End Offset）

LEO 是一个标记，是所有的replica都会有的一个offset，LEO指向追加到当前replica最后一条消息的offset。当Leader Replica 中新增数据时，LEO会进行递增执行新的offset，同样，当Follower Replica 进行数据同步的时候，LEO也会进行递增指向新的offset。

（12）Cluster & Controller

Cluster由多个Broker组成，用于对外提供服务。每个Cluster中会选举产生一个Controller，该Controller是整个Kafka Cluster 的指挥中心，负责管理分区的状态，监听Zk数据变化等。

（13）Producer

Producter 主要负责向Kafka topic parition 中推送消息。

（14）consumer

Consumer 负责从Topic0中拉取消费消息。

（15）consumer group

Consumer Group 由多个Consumer 组成，同时一个Consumer只有属于一个Consumer Group。
Consumer Group 保证了其订阅的Topic partition 会被该Consumer Group 中的Consumer消费。对于多个Consumer Group订阅了同一个Topic，每个Consumer Group之间互不影响。
如果要实现一个消息被多个 consumer 消费，则可以将当consumer 单独添加到单独的Consumer Group中（反之，如果要实现一个消息被一个 consumer 消费，则可以将当consumer 添加到同一个Consumer Group中）

Consumer Group

2、Cluster & Producer & Consumer：

Cluster & Producer & Consumer

3、Replica 复制原理（冗余备份）

（1）Replica 复制流程

Replica 复制流程

（2）冗余备份:

① 同步复制：

同步复制也就要要求所有的Follower Replica都完成复制，才会进行HW递增，也就是当所有的Follower Replica完成复制，数据才会被提交，生产者可以获取到该消息。如果因为一些未知因素（GC等）使得某个Follower Replica 未完成，导致HW无法 commit，则会拖慢整个系统的性能。

② 异步复制：

异步复制是当Leader Replica 收到Producer发送的消息，就进行HW递增，将状态更新为commit。而Follower Replica 则异步从Leader Replica进行消息复制。该模式虽然避免了因为Follower Replica 异常导致的系统阻塞或者崩溃，但是同时存在数据同步延后的问题，如在此时发生Broker宕机，存在数据丢失风险

③ ISR：

ISR在一定的角度可以理解为同步复制与异步复制之间的一种折中。ISR为Follower Replica设置了延时阀值，当延时到达该阀值时，Leader Replica 就会将该Follower Replica 剔出ISR，确保消息可以快速提交。同时当Broker出现宕机或者异常时，能够第一时间从 Follower Replica中选举产生Leader Replica，从而避免了数据丢失。