Flink之Watermark生成策略

在Flink1.12以后,watermark默认是按固定频率周期性的产生.
在Flink1.12版本以前是有两种生成策略的:

  • AssignerWithPeriodicWatermarks周期性生成watermark
  • AssignerWithPunctuatedWatermarks[已过时] 按照指定标记性事件生成watermark

新版本API内置的watermark策略

  • 单调递增的watermark生成策略,也就是紧跟最大事件时间(完全不容忍乱序)

    WatermarkStrategy.forMonotonousTimestamps();
    
  • 允许乱序的watermark生成策略,最大事件时间 - 容错时间

    WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(3));
    
  • 自定义的watermark生成策略

    WatermarkStrategy.forGenerator(new WatermarkGenerator(){...})
    
  • Monotonous策略图解
    Flink之Watermark生成策略_第1张图片
    这里时间戳为1,2,3的数据正常进入到0~5window
    Flink之Watermark生成策略_第2张图片
    当时间戳为7的数据进来后,就会将watermark更新为7,跟新后0~5window就会进行计算,然后销毁
    Flink之Watermark生成策略_第3张图片
    时间为4,5,6的数据准备进入到5~10window时发现不满足进入条件,这时就会将这三条数据判定为迟到数据,然后就会将这三条数据舍弃掉

  • BoundedOutOfOrderness策略图解
    Flink之Watermark生成策略_第4张图片
    时间戳为1,2,3正常进入到0~ 5window,由于设置的容错时间为3,所以当时间戳为3的数据到达之后,watermark更新为0(3 - 3).
    Flink之Watermark生成策略_第5张图片
    当时间戳为7的数据到达之后,则会进入5~10window当中,watermark更新为4(7 - 3)
    Flink之Watermark生成策略_第6张图片
    因为watermark7到达时只更新到了4,所以0~5window还没有进行计算,当4,5,6到达之后还可以正常进入到0~5window.
    Flink之Watermark生成策略_第7张图片
    当时间戳为8的数据到达之后进入到5~10window,更新watermark5(8 - 3),这时0~5window触发计算并销毁.

关于自定义的策略就没什么可说的了,这个要根据用户自己定义的逻辑生成watermark,以实际业务需求为基准.

你可能感兴趣的:(FLink,flink,大数据)