Apache Calcite教程-基础知识-水位线(Watermark)

  • 水位线(水印) Watermark
    • Watermark的概念
    • Flink Watermark设计
      • 周期Watermark (Periodic Watermark)
      • 标点Watermark (Punctuated Watermark)

GitHub Watermark

水位线(水印) Watermark

和Apache Calcite基本无关,和流式SQL有关,作为附加学习内容

Watermark的概念

数据流中经常出现事件时间(Event Time)乱序的情况,如果创建一个时间窗口为5s,但是数据延迟到达,
就会引起数据的不准确,为了解决类似的问题,提出了水位线概念

Flink Watermark设计

周期Watermark (Periodic Watermark)

每个时间窗口,周期性生成watermark,和数据流中的数据事件时间没有关系
Apache Calcite教程-基础知识-水位线(Watermark)_第1张图片

标点Watermark (Punctuated Watermark)

根据数据流中的时间,生成watermark
Apache Calcite教程-基础知识-水位线(Watermark)_第2张图片

你可能感兴趣的:(实时,calcite,Flink)