Flink-Streaming-EventTime-Generating Timestamps / Watermarks

这一部分文档，只和使用 event time语义的应用有关。
为了使用 event time 语义，流程序需要设置相应的 时间语义 time characteristic.

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

指定 timestamp

---

为了能在event time语义下正常工作，Flink需要知道数据的时间戳，意味着流中的每个数据都要有自己的时间戳。一般可以通过获取或者提取数据中某个field的时间戳完成。
时间戳的指定与watermark的生成一般是一起发生的，watermark用于告诉系统当前的event time 是多少了。
有两种方式来指定时间戳，生成watermark：
1.在source中完成
2.通过 timestamp assigner/watermark generator:在flink中，timestamp assigner同时也定义了如何发射一个watermark
注意：timestamp与watermark都是一个从 1970-01-01T00:00:00Z开始的一个毫秒值

Source Function with Timestamps and Watermarks

数据流source可以直接指定数据的timestamp以及发射watermark。当选择这么做时，就不需要timestamp assigner了。需要注意的是，如果使用了timestamp assigner，那么source中的相关逻辑会被覆盖。
为了在source中就指定timestamp，souce必须使用 SourceContext中的collectWithTimestamp(...)方法。为了生成watermark，source必须调用emitWatermark(watermark) 方法。
下面的例子展示了（不使用checkpoint）source如何指定timestamp，生成watermark

@Override
public void run(SourceContext ctx) throws Exception {
    while (/* condition */) {
        MyType next = getNext();
        ctx.collectWithTimestamp(next, next.getEventTimestamp());

        if (next.hasWatermarkTime()) {
            ctx.emitWatermark(new Watermark(next.getWatermarkTime()));
        }
    }
}

Timestamp Assigner / Watermark Generator

Timestamp Assigner 输入一个流，输出一个带有时间戳以及watermark的流。如果输入流中本来就有时间戳以及watermark，Tmesatmp Assigner会覆盖它们。
Timesatmp Aasigner通常在调用source函数后，紧跟着调用，但是并不会这样强制要求。一个常用的模式是，可以在调用 timestamp assigner前先执行解析（map）与过滤（filter）。更通用的说法是，timestamp assigner 必须在第一个使用 event time的操作符（如第一个window操作）前定义好。作为一个特殊情况：使用kafka作为source，Flink允许使用数据源内自带的timestamp assigner与watermark generator。
注意：文档下面的部分展示了为了实现自己的timestamp提取/watermark发射所要实现的主要接口。如果想要看flink自带的默认实现，可以参阅 Pre-defined Timestamp Extractors / Watermark Emitters。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

DataStream stream = env.readFile(
        myFormat, myFilePath, FileProcessingMode.PROCESS_CONTINUOUSLY, 100,
        FilePathFilter.createDefaultFilter(), typeInfo);

DataStream withTimestampsAndWatermarks = stream
        .filter( event -> event.severity() == WARNING )
        .assignTimestampsAndWatermarks(new MyTimestampsAndWatermarks());

withTimestampsAndWatermarks
        .keyBy( (event) -> event.getGroup() )
        .timeWindow(Time.seconds(10))
        .reduce( (a, b) -> a.add(b) )
        .addSink(...);

使用周期发射的watermark

AssignerWithPeriodicWatermaks 会周期性的产生timestamp与watermark（可能是基于流中的元素，也可能是基于机器的系统时间）。
生成watermark的间隔可以通过ExecutionConfig.setAutoWatermakInterval(...) 。Assigner的getCurrentWatermark()方法每次都会调用，如果返回的watermark不为null且大于上次的watermark，则返回的watermark就会成为新的watermark。
下面介绍的两个timestamp sasigner示例使用了周期性的watermark generation。需要注意的是Flink自带的 BoundedOutOfOrdernessTimestampEaxtractor 与下面的 BoundOutOfOrdernessGenerator类似。

/**
 * This generator generates watermarks assuming that elements arrive out of order,
 * but only to a certain degree. The latest elements for a certain timestamp t will arrive
 * at most n milliseconds after the earliest elements for timestamp t.
 */
public class BoundedOutOfOrdernessGenerator implements AssignerWithPeriodicWatermarks {

    private final long maxOutOfOrderness = 3500; // 3.5 seconds

    private long currentMaxTimestamp;

    @Override
    public long extractTimestamp(MyEvent element, long previousElementTimestamp) {
        long timestamp = element.getCreationTime();
        currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);
        return timestamp;
    }

    @Override
    public Watermark getCurrentWatermark() {
        // return the watermark as current highest timestamp minus the out-of-orderness bound
        return new Watermark(currentMaxTimestamp - maxOutOfOrderness);
    }
}

/**
 * This generator generates watermarks that are lagging behind processing time by a fixed amount.
 * It assumes that elements arrive in Flink after a bounded delay.
 */
public class TimeLagWatermarkGenerator implements AssignerWithPeriodicWatermarks {

    private final long maxTimeLag = 5000; // 5 seconds

    @Override
    public long extractTimestamp(MyEvent element, long previousElementTimestamp) {
        return element.getCreationTime();
    }

    @Override
    public Watermark getCurrentWatermark() {
        // return the watermark as current time minus the maximum time lag
        return new Watermark(System.currentTimeMillis() - maxTimeLag);
    }
}

使用 Punctuated Watermark

当某个特定数据到达时再生成watermark的场景，可以使用 AssignerWithPunctuatedWatermarks 。Flink会先调用 extractTimestamp(...) 方法获取数据的timestamp，然后立即调用 checkAndGetNextWatermark(...)方法。
checkAndGetNextWatermark(...)方法会接收 extractTimestamp(...)方法指定的timestamp，然后决定是否要生成一个watermark。一旦 checkAndGetNextWatermark方法范户籍一个非空watermark并且大于旧的watermark，新返回的watermark就会发射到数据流中。

public class PunctuatedAssigner implements AssignerWithPunctuatedWatermarks {

    @Override
    public long extractTimestamp(MyEvent element, long previousElementTimestamp) {
        return element.getCreationTime();
    }

    @Override
    public Watermark checkAndGetNextWatermark(MyEvent lastElement, long extractedTimestamp) {
        return lastElement.hasWatermarkMarker() ? new Watermark(extractedTimestamp) : null;
    }
}

注意：每个数据都生成对应的watermark是可以的。但是每个watermark都会造成下游操作符额外计算，因此过多的watermark会降低性能。

Timestamps per Kafka Partition

---

当使用kafka作为数据源时，每一个kafka partition可能会有自己的event time pattern。然而，当从kafka消费数据时，多个partiton有可能在同一线程中读取，造成不同partition的数据交错，破坏了每个partition的固有的简单的event time pattern。
针对这种情况，你可以使用Flink的 Kafka-partition-aware watermark generation。使用跟这个特征，watermark可以在kafka consumer内部每个partiton产生。多个partition的watermak的merged的逻辑和watermark在stream shuffle时的逻辑是一样的。
例如：如果数据的时间戳在kafka的每个partition中都是严格升序的，那么使用 assending timestamps watermark generator 生成每个partiton的watermrk会得到很好的结果。
下图展示了如何使用 per-Kafka-partition watermark generation 以及watermark是如何在数据流中merge然后发送到下游的。

FlinkKafkaConsumer09 kafkaSource = new FlinkKafkaConsumer09<>("myTopic", schema, props);
kafkaSource.assignTimestampsAndWatermarks(new AscendingTimestampExtractor() {

    @Override
    public long extractAscendingTimestamp(MyType element) {
        return element.eventTimestamp();
    }
});

DataStream stream = env.addSource(kafkaSource);