Flink中watermark（水印）讲解

watermark

使用前提：

处理数据开窗，处理数据的时间语义是事件时间，也就是每条数据产生的时间。

使用场景（解决问题）：

处理乱序数据：flink中是实时处理数据，但是在处理数据的时候会出现因为网络传输的问题，所以数据先产生的反而到后面才到达，在被处理时候就会出现数据混乱，而且因为开窗，窗口关闭但是本窗口的数据来迟，导致数据丢失；

理想转态，数据按照顺序到达

则对应窗口可以获得的数据就是

每一个窗口都可以得到对应的数据

但实际数据到来的顺序可能会出现乱序：

则没有watermark会每个窗口数据会出现的情况：

可以看到第一个来的4这个数据会导致[0,3)窗口关闭，而后来的数据1,2都无法在进入这个窗口中，也就导致了数据丢失，同样的道理6号数据，会导致[3,6)窗口关闭，3,5数据丢失

问题解决：

通过watermark来解决，简单来说就是延迟窗口关闭的时间，等一会迟到的数据，窗口关闭不在依据数据的时间，而是到达的watermark的时间。

看数据知道最大的乱序时间是4s（假设每个编号代表数据本省产生的时间），所以可以将窗口延迟等待的时间设置为4s；

watermark的生成就是每来一条数据生成一次，但是生成的计算公式是到最新到达的一条数据时间为止，数据最大的时间-4，当前已经到达的数据的最大时间，也就是说watermark的生成是只能不断变大，或者不变，而不可能减小的。（这里为方便没有再减一，实际代码运行时会在-1的） watermark= maxTimestamp - outOfOrdernessMillis _-1_；

所以生成的watermark依次为：

这样就是4数据到来后，产生watermark为0，1数据到来后产生的watermark还是0，因为到1号数据为止最大的时间是4，依次类推就如上图。

因为现在窗口关闭是依据watermark的时间，而不是数据本身时间了，所以4号数据到达[3,6)窗口时，产生的watermark为0不会导致[0,3)窗口关闭，只有等到watermark为3才会关闭，也就是等到7号数据到达产生3的watermark的时候，所以每个窗口的数据就为：

所有的数据都可以到原本的窗口。

多平行度下的watermark

一个子任务中watermark会发往所有下一算子中的子任务，也就是一发多，

同样一个子任务会接收上一个算子中所有子任务的watermark，这时起作用的就是最小的哪一个watermark。

watermark可以理解为一个特殊的数据，这个数据不参与计算，仅仅是对窗口的触发关闭起作用；

总结：

1）衡量事件时间的进展
2）单调不减的（保持不变，或 增加）
3）是一个特殊时间戳，生成之后插入到流里，随着流的流动传递
4）解决乱序的问题
5）认为，在它之前的数据都处理过了（如果还有，说明该数据迟到了）

6） 触发 窗口等 的 计算、关闭