如何理解Flink的Exactly-Once语义

1. 什么是Exactly-Once:

   从字面上来说,就是确切一次,也就是保证消息只被消费一次(即使消费了多次,最终呈现出来的结果也要跟只消费一次一样)。

2. 

3.CheckPoint

Checkpoint是Flink实现容错机制最核心的功能,它能够根据配置周期性地基于Stream中各个Operator/task的状态来生成快照,从而将这些状态数据定期持久化存储下来,当Flink程序一旦意外崩溃时,重新运行程序时可以有选择地从这些快照进行恢复,从而修正因为故障带来的程序数据异常。

4 Checkpoint Barrier

单流的 CheckPoint barrier:

1: 屏障作为数据流的一部分随着记录被注入到数据流中。屏障永远不会赶超通常的流记录,它会严格遵循顺序。

2: 屏障将数据流中的记录隔离成一系列的记录集合,并将一些集合中的数据加入到当前的快照中,而另一些数据加入到下一个快照中。

3: 每一个屏障携带着快照的ID,快照记录着ID并且将其放在快照数据的前面。

4: 屏障不会中断流处理,因此非常轻量级。

如何理解Flink的Exactly-Once语义_第1张图片

并行CheckPoint Barrier

1:不止一个输入流的时的operator,需要在快照屏障上对齐(align)输入流,才会发射出去。

2:可以看到1,2,3会一直放在Input buffer,直到另一个输入流的快照到达Operator。

如何理解Flink的Exactly-Once语义_第2张图片

5. 两段提交实现exactly-once

当checkPoint barrier 流到某个operator时,operator就将此时的状态快照保存到StateBackend.当所有的operator保存了快照,并对结果进行预提交。之后JobManager需要通知所有的operator checkpoint已经创建完成,然后提交事物。

如何理解Flink的Exactly-Once语义_第3张图片

如何理解Flink的Exactly-Once语义_第4张图片

一文搞懂Flink内部的Exactly Once和At Least

Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

你可能感兴趣的:(flink,flink,大数据)