Flink系列:Kafka Producer 容错处理方法

 
 
注意不同版本的处理方式不同

Kafka 0.9、Kafka0.10

FlinkKatkaProducer09/FlinkKatkaProducer010提供At-least-once 的语义,还需要配置下面两个参数
 
setLogFailuresOnly(false)
 
setFlushOnCheckpoint(true)
 
 

Kafka 0.11

Flink 开启 CheckPoint, 则FlinkKafkaProducer011提供 Exactly-once语义支持。
支持以下选项
 
Semantic NONE
Semantic.AT_LEAST ONCE(默认)
Semantic.EXACTLY ONCE

你可能感兴趣的:(Flink)