Flink中的时间语义与Watermark

1.Flink中的时间语义

1）在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：

Flink时间概念

Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。

Ingestion Time：是数据进入Flink的时间。

Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing Time。

2）EventTime的引入

在Flink的流式处理中，绝大部分的业务都会使用EventTime，一般只在EventTime无法使用时，才会被迫使用ProcessingTime或者IngestionTime。

默认情况下，Flink框架中处理的时间语义为ProcessingTime,如果要使用EventTime，那么需要引入EventTime的时间属性，引入方式如下所示：

importorg.apache.flink.streaming.api.TimeCharacteristic

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

2.WaterMark

1）基本概念

我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的，虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、分布式等原因，导致乱序的产生，所谓乱序，就是指Flink接收到的事件的先后顺序不是严格按照事件的Event Time顺序排列的。

数据的乱序

那么此时出现一个问题，一旦出现乱序，如果只根据eventTime决定window的运行，我们不能明确数据是否全部到位，但又不能无限期的等下去，此时必须要有个机制来保证一个特定的时间后，必须触发window去进行计算了，这个特别的机制，就是Watermark。

Watermark是一种衡量Event Time进展的机制。

Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark机制结合window来实现。

有序流的Watermarker如下图所示：（Watermark不设置延迟）

有序数据的Watermark

乱序流的Watermarker如下图所示：（Watermark延迟时间设置为2s）

无序数据的Watermark

Watermark是由数据携带的，一旦数据携带的Watermark比当前未触发的窗口的结束时间要晚，那么就会触发相应窗口的执行。由于Watermark是由数据携带的，因此，如果运行过程中无法获取新的数据，那么没有被触发的窗口将永远都不被触发。

Watermark 就是触发前一窗口的“关窗时间”，一旦触发关门那么以当前时刻为准在窗口范围内的所有所有数据都会收入窗中。

只要没有达到水位那么不管现实中的时间推进了多久都不会触发关窗。

自己理解：对窗口设置一个延迟时间，用来处理乱序延时数据。如上图所示，未设置延迟时，第一个窗口的触发Watermark为5s；设置了2s延迟之后，第一个窗口的触发Watermark为>=7s。