Kafka Exactly Once 语义

将服务器的 ACK 级别设置为 -1 ，可以保证 Producer 到 Server 之间不会丢失数据，即 At

Least Once 语义 。相对的，将服务器 ACK 级别设置为 0 ，可以保证生产者每条消息只会被

发送一次，即 At Most Once 语义。

At Least Once 可以保证数据不丢失，但是不能保证数据不重复；相对的， At Least Once

可以保证数据不重复，但是不能保证数据不丢失。 但是，对于一些非常重要的信息，比如说

交易数据，下游数据消费者要求数据既不重复也不丢失，即 Exactly Once 语义。 在 0.11 版

本以前的 Kafka ，对此是无能为力的，只能保证数据不丢失，再在下游消费者对数据做全局

去重。对于多个下游应用的情况，每个都需要单独做全局去重，这就对性能造成了很大影响。

0.11 版本的 Kafka ，引入了一项重大特性：幂等性。所谓的幂等性就是指 Producer 不论

向 Server 发送多少次重复数据， Server 端都只会持久化一条。幂等性结合 At Least Once 语

义，就构成了 Kafka 的 Exactly Once 语义。即：

At Least Once + 幂等性 = Exactly Once

要启用幂等性，只需要将 Producer 的参数中 enable.idompotence 设置为 true 即可。 Kafka

的幂等性实现其实就是将原来下游需要做的去重放在了数据上游。开启幂等性的 Producer 在

初始化的时候会被分配一个 PID ，发往同一 Partition 的消息会附带 Sequence Number 。而

Broker 端会对 做缓存，当具有相同主键的消息提交时， Broker 只

会持久化一条。

但是 PID 重启就会变化，同时不同的 Partition 也具有不同主键，所以幂等性无法保证跨

分区跨会话的 Exactly Once 。

3.3 Kafka 消费者

.1 消费方式

consumer 采用 pull （拉）模式从 broker 中读取数据。

push （推）模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。

它的目标是尽可能以最快速度传递消息，但是这样很容易造成 consumer 来不及处理消息，

典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适

当的速率消费消息。

pull 模式不足之处是，如果 kafka 没有数据，消费者可能会陷入循环中，一直返回空数

据。 针对这一点， Kafka 的消费者在消费数据时会传入一个时长参数 timeout ，如果当前没有

数据可供消费， consumer 会等待一段时间之后再返回，这段时长即为 timeout 。

2 分区分配策略

一个 consumer group 中有多个 consumer ，一个 topic 有多个 partition ，所以必然会涉及

到 partition 的分配问题，即确定那个 partition 由哪个 consumer 来消费。

Kafka 有两种分配策略，一是 RoundRobin ，一是 Range 。

.3 offset 的维护

由于 consumer 在消费过程中可能会出现断电宕机等故障， consumer 恢复后，需要从故

障前的位置的继续消费，所以 consumer 需要实时记录自己消费到了哪个 offset ，以便故障恢

复后继续消费。

 

Kafka 0.9 版本之前， consumer 默认将 offset 保存在 Zookeeper 中，从 0.9 版本开始，

consumer 默认将 offset 保存在 Kafka 一个内置的 topic 中，该 topic 为 __consumer_offsets 。

1 ）修改配置文件 consumer.properties

exclude.internal.topics=false

2 ）读取 offset

0.11.0.0 之前版本 :

 

.4 消费者组案例

1 ）需求：测试同一个消费者组中的消费者，同一时刻只能有一个消费者消费。

2 ）案例实操

（ 1 ）在 hadoop102 、 hadoop103 上修改 /opt/module/kafka/config/consumer.properties 配置

文件中的 group.id 属性为任意组名。

[atguigu@hadoop103 config]$ vi consumer.properties

group.id=atguigu

（2）在 hadoop102 、 hadoop103 上分别启动消费者