一文搞懂 Flink 的 Exactly Once 和 At Least Once【总结】

一文搞懂 Flink 的 Exactly Once 和 At Least Once

https://mp.weixin.qq.com/s/ZbDzxDgd9phmNIVhNhXImw

Barrir总结

1 Source会自动的插入一个Barrir 跟随Kafka消息一同发送到下游Operator算子

2 当Operator1接收到Barrair（b1）后将触发checkpoint触发器，并将结果写入到RocksDB[写入系统可修改]

3 当Operator2接收到Barrair（b2）后将触发checkpoint触发器，并将结果写入到RocksDB[写入系统可修改]

4 b1,b2随消息发送到Operator3，假如b1先到达并且配置的是Exaclty Once 那么后面的消息（如m1,m2）会缓存起来（目的是为了提高性能），等b2到达后（及对齐后）将触发checkpoint