SinkKafkaSinkElasticSearchSinkRedisSinkJDBCSink文件Sink从Kafka中读取数据，数据做转换后，并将数据写入到文件中packagecom.hjt.yxh.hw.apitestimportorg.apache.flink.api.common.eventtime.WatermarkStrategyimportorg.apache.flink

1.8.21.10.0PeriodicPunctuated比较杂乱的一些结论整合代码与水印介绍（看这里）前缀有两种分配时间戳和生成水印的方法：直接在数据流源中（这句话是官网翻译，说的是摄入时间模式下时间戳和水印是自动生成的，或者，例如Eventtime

Time在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：-EventTime[事件时间]事件发生的时间，例如：点击网站上的某个链接的时间，每一条日志都会记录自己的生成时间如果以EventTime

目录1Time分类2EventTime的重要性2.1示例12.2示例22.3示例32.4示例42.5总结3Watermaker水印机制/水位线机制3.1什么是Watermaker？

中窗口指派主要分为两类NoKeyedWindows和KeyedWindows,这里就结合这两类阐述窗口指派APINoKeyedWindowsNoKeyedWindows同时又分为两类PorcessingTime和EventTime

数据限制小文件的大小和数量近实时分析相对于秒级存储(Druid,OpenTSDB)，节省资源提供分钟级别时效性，支撑更高效的查询Hudi作为lib，非常轻量增量pipeline区分arrivetime和eventtime

看网上很多同学说，是什么watermark的eventTime为空、数据源段出现脏数据，存在null值导致、要改什么时间格式等等解释，都没有触及这个错误的灵魂。

有用的实战功能，搭配了适度源码讲解背景代码番外篇：聊聊eventTime迟到数据的时候什么时候清理窗口数据背景加入我们需要基于processTime处理数据，使用5分钟的滑动窗口。

//日志输出ALOGD("notifyMotion-id=%"PRIx32"eventTime=%"PRId64

基于的EventTime时间属性的窗口函数作业中，数据源表的声明中需要使用Watermark方法。

7.1EventTime的引入在Flink的流式处理中，绝大部分的业务都会使用eventTime，一般只在eventTime无法使用时，才会被迫使用ProcessingTime或者IngestionTime

新旧版本对比早在flink1.10以前的版本，有三种时间语义：processingtime，即当前集群的处理时间eventtime，即消息中附带的消息产生时间ingestiontime，即消息进入集群的摄取时间彼时

1、时间语义在流式数据处理的过程中，有两个非常重要的时间点：一个是数据产生的时间，我们把它叫作“事件时间”（EventTime）；另一个是数据真正被处理的时刻，叫作“处理时间”（ProcessingTime

3、时间语义与窗口的关系1、如何理解Flink中的时间语义flink作为流式计算引擎，提供了两种时间语义来对流式数据进行计算事件时间(EventTime):事件产生的时间，通常由事件中的时间戳描述处理时间

目录一、时间属性EventTimeProcessingTime二、水印作用定义watermark策略三、窗口函数作用分类Window聚合滚动窗口（TUMBLE）定义语法标识函数使用EventTime统计每个用户每分钟在指定网站的单击数示例测试数据测试语句测试结果使用

.Flink中的时间语义image.pngEventTime：事件创建时间；IngestionTime：数据进入Flink的时间；ProcessingTime：执行操作算子的本地系统时间，与机器相关；EventTime

版本：1.11当是EventTime类的应用时，Watermark才有意义（IngestTime也可以生成WaterMark，很少用），它是一个时间，表示后来的数据的EventTime都大于该Watermark

Flink定时器1、Flink当中定时器Timer的基本用法定时器Timer是Flink提供的用于感知并利用处理时间、事件事件变化的一种机制，通常在KeyedProcessFunction当中使用定时器Timer，具体步骤：在processElement()方法当中注册Timer，然后通过重写onTimer()方法作为Timer定时器出发时的回调逻辑。2、简述在Flink当中注册定时器Timer的

.errorencountered23/08/3015:16:58ERRORql.Driver:FAILED:SemanticExceptioon1:27'[eventcode,customerId,eventTime

中间是有一个过程和时间的，虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、分布式等原因，导致乱序的产生，所谓乱序，就是指Flink接收到的事件的先后顺序不是严格按照事件的EventTime

时间语义EventTime：事件创建的时间IngestionTime:数据进入Flink的时间ProcessingTime:执行操作算子的本地系统时间，与机器相关不同的时间语义有不同的应用场合我们往往更关心事件时间

importcom.ctgu.flink.entity.BehaviorChannelCount;importcom.ctgu.flink.entity.MarketingUserBehavior;importorg.apache.flink.api.common.eventtime.WatermarkStrategy

中时间语义可以说是最重要的一个概念了,这里就说一下关于时间语义的机制,我们下看一下下面的表格,简单了解一下时间定义processingtime处理时间,也就是现实世界的时间,或者说代码执行时,服务器的时间eventtime

后期写的多了在去调格式目录每次先大致写下，后期写的多了在去调格式目录每次先大致写下，后期写的多了在去调格式一、文档学习flink中时间语义：waterMark水位线：二、官网学习1、列属性中：计算列ComputedColumns：Eventtime

TumblingWindows)滑动窗口(SlidingWindows)会话窗口(SessionWindows)全局窗口(globalwindow)WindowAPI时间语义与WartermarkFlink中的时间语义EventTime

1.Flink时间语义Flink定义了三类时间处理时间（ProcessTime）数据进入Flink被处理的系统时间（Operator处理数据的系统时间）事件时间（EventTime）数据在数据源产生的时间

时间和窗口一、时间语义1.Flink中的时间语义1.1处理时间（ProcessingTime）1.2事件时间（EventTime）1.3两种时间语义的对比二、水位线（Watermark）1.什么是水位线

以小时聚合为例说明首先创建表，此处是本地表，且没有副本#创建表CREATETABLEdatasets.bt_stats(`btname`String,`record`UInt64,`EventTime`

在flink中使用eventtime时，一般需要自定义TimestampExtractors/WatermarkEmitters，实现AssignerWithPeriodicWatermarks或者AssignerWithPunctuatedWatermarks

另外，用户也可以通过注册eventtime和processingtime处理回调函数的方法来实现复杂的计算。大部分程序通

数据原始是这样的：处理代码如下：df=pd.DataFrame(data)print(df)df['access_nginx_deb.eventtime']=df["access_nginx_deb.eventtime

迟到就放到侧输出流再根据范围找数据然后根据上界删除数据packagecom.atguigu.gmall.realtime.test;importorg.apache.flink.api.common.eventtime.SerializableTimestampAssigner

通过本文你将学到：如何基于EventTime处理，如何指定Watermark如何使用Flink灵活的WindowAPI何时需要用到State，以及如何使用如何

是现实世界的时间,时间是单调递增的事件时间:eventtime是指根据附加到每一行的

1.1.1时间类型事件时间（EventTime）：每个事件在对应的设备上发生的时间，也就是数据生成的时间。处理时间（ProcessingTime）：执

一、Flink中Time的三种类型：Stream数据中的Time（时间）分为以下3种：1.EventTime（事件产生的时间）：事件的时间戳，通常是生成事件的时间。

Flink中的水印操作流处理中的乱序当flink以EventTime模式处理流数据时，它会根据数据里的时间戳来处理基于时间的算子。但是由于网络、分布式等原因，会导致数据乱序的情况。

1eventTime一个基于eventTime的flink程序必须定义：每条数据的eventTime时间戳和如何生成watermark。一旦设置了eventTime则必须设置watermark。

FlinkWatermark分配策略WaterMark是Flink为了处理EventTime窗口计算提出的一种机制，本质上是一种时间戳。

WatermarkWatermark是一种衡量EventTime进展的机制。Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark机制结合window来实现。

文章目录时间语义EventTime事件时间IngestionTime:ProcessingTime:处理时间WaterMark有序数据乱序数据WaterMark的作用WaterMark的实现过程图解Watermark

作者：黄龙，腾讯CSIG高级工程师FlinkWatermark前言Flink水印机制，简而言之，就是在Flink使用EventTime的情况下，窗口处理事件乱序和事件延迟的一种设计方案。

Stream数据中Time（时间）可以分为三种：EventTime:事件真正产生的时间，即业务系统真正产生日志的时间，它通常由事件中的时间戳描述。

摘录仅供学习使用，原文来自：Flink详解系列之五--水位线（watermark）-简书1、概念在Flink中，水位线是一种衡量EventTime进展的机制，用来处理实时数据中的乱序问题的，通常是水位线和窗口结合使用来实现

watermark源码分析watermark源码调用流程debug（重要）测试思路迟到时间处理FlinkSql中的watermark引出问题与源码分析watermark介绍本质上watermark是flink为了处理eventTime

背景一般我们都是用EventTime事件时间进行处理统计数据但数据由于网络问题延迟、乱序到达会导致窗口计算数据不准确需求：比如时间窗是[12:01:01,12:01:10)，但是有数据延迟到达当12:01

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录Flink支持的时间类型EventTime：每条数据都携带时间戳。

org.apache.flinkflink-runtime-web_2.11${flink.version}${scope.type}-2本地运行代码importorg.apache.flink.api.common.eventtime.WatermarkStrategyimportorg.apache.flink.api.common.serialization.SimpleS

基于官网eventtime介绍flink-1.8.1建议阅读一下官网的介绍，系统的学习一下概述flink中的eventtime分为三种，EventTime/ProcessingTime/IngestionTime

privatelongeventtime=0;privateAudioManagervAudioManager=null;//此处在onCreate方法中初始化eventtime=SystemClock.uptimeMillis