Flink SQL中的窗口函数

1 OVER窗口

      OVER窗口(OVER Window)是传统数据库的标准开窗,不同于GROUP BY Window,OVER Window中的每一个元素都对应一个窗口。窗口元素是与当前元素相邻的元素集合,流数据元素分布在多个窗口中。在Flink SQL Window的实现中,每个触发计算的元素所确定的行,都是该元素所在窗口的最优一行。
      在应用OVER Window的流式数据中,每一个元素都对应一个OVER Window。每一个元素都触发一次数据计算。在实时计算的底层实现中,OVER Window的数据进行全局同一管理(数据只存储一份),逻辑上为每一个元素维护一个OVER Window,为每一个元素进行窗口计算,完成计算后会清楚过期的数据。

1.1 语法
SELECT
    agg1(col1) OVER (definition1) AS colName,
    ...
    aggN(colN) OVER (definition1) AS colNameN
FROM Tab1;

      注意:① agg1到aggN所对应的OVER definition1必须相同;② 外层SQL可以通过AS的别名查询数据。

1.2 类型

      Flink SQL中对OVER Window的定义遵循标准SQL的定义语法,传统的OVER Window没有对其进行更细粒度的窗口类型命名划分。按照计算行的定义方式,OVER Window可以分为以下两类:
      ① ROWS OVER Window:每一行元素都被视为新的计算行,即每一行都是一个新的窗口;
      ② RANGE OVER Window:具有相同时间值的所有元素行视为同一计算行,即具有相同时间值的所有行都是同一个窗口。

1.3 属性
正交属性 说明 Proctime Eventtime
rows 按照实际元素的行确定窗口 支持 支持
range 按照实际的元素值(时间戳值)确定窗口 支持 支持
1.4 Rows OVER Window

(1)窗口数据
      ROWS OVER Windows的每个元素都确定一个窗口。ROWS OVER Window分为Unbounded(无界流)和Bounded(有界流)两种情况。
      Unbounded ROWS OVER Window数据示例如下图所示。
Flink SQL中的窗口函数_第1张图片

      虽然上图所示窗user1的w7、w8及user2的窗口w3、w4都是同一时刻到达,但它们仍然在不同的窗口,这一点与RANGE OVER Window不同。
      Bounded ROWS OVER Window数据以3个元素(2 PRECEDING)的窗口为例,如下图所示。
Flink SQL中的窗口函数_第2张图片

      虽然上图所示窗口user1的w5、w6及user2的窗口w2、w3都是同一时刻到达,但它们仍然在不同的窗口,这一点与RANGE OVER Window不同。
(2)窗口语法

SELECT 
    agg1(col1) OVER(
     [PARTITION BY (value_expression1,..., value_expressionN)] 
     ORDER BY timeCol
     ROWS 
     BETWEEN (UNBOUNDED | rowCount) PRECEDING AND CURRENT ROW) AS colName, ... 
FROM Tab1;             

      ① value_expression:分区值表达式。
      ② timeCol:元素排序的时间字段。
      ③ rowCount:定义根据当前行开始向前追溯几行元素。
      输出在当前商品上架之前同类的3个商品中的最高价格。

SELECT  
    itemID,
    itemType, 
    onSellTime, 
    price,  
    MAX(price) OVER (
        PARTITION BY itemType 
        ORDER BY onSellTime 
        ROWS BETWEEN 2 preceding AND CURRENT ROW) AS maxPrice
  FROM tmall_item;
1.5 RANGE OVER Window

(1)窗口数据
      RANGE OVER Window所有具有共同元素值(元素时间戳)的元素行确定一个窗口,RANGE OVER Window分为Unbounded和Bounded的两种情况。
      Unbounded RANGE OVER Window数据示例如下图所示。
Flink SQL中的窗口函数_第3张图片

      上图所示窗口user1的w7、user2的窗口w3,两个元素同一时刻到达,属于相同的window,这一点与ROWS OVER Window不同。
      Bounded RANGE OVER Window数据,以3秒中数据(INTERVAL ‘2’ SECOND)的窗口为例,如下图所示。
Flink SQL中的窗口函数_第4张图片

      上图所示窗口user1的w6、user2的窗口w3,元素都是同一时刻到达,属于相同的window,这一点与ROWS OVER Window不同。
(2)窗口语法

SELECT 
    agg1(col1) OVER(
     [PARTITION BY (value_expression1,..., value_expressionN)] 
     ORDER BY timeCol
     RANGE 
     BETWEEN (UNBOUNDED | timeInterval) PRECEDING AND CURRENT ROW) AS colName, 
... 
FROM Tab1;

      ① value_expression:进行分区的字表达式。
      ② timeCol:元素排序的时间字段。
      ③ timeInterval:定义根据当前行开始向前追溯指定时间的元素行。
求比当前商品上架时间早2分钟的同类商品中的最高价格。

SELECT  
    itemID,
    itemType, 
    onSellTime, 
    price,  
    MAX(price) OVER (
        PARTITION BY itemType 
        ORDER BY onSellTime 
        RANGE BETWEEN INTERVAL '2' MINUTE preceding AND CURRENT ROW) AS maxPrice
  FROM tmall_item;

2 分组窗口

2.1 分组窗口的类型

      SQL查询的分组窗口是通过GROUP BY子句定义的。类似于使用常规GROUP BY语句的查询,窗口分组语句的GROUP BY子句中带有一个窗口函数为每个分组计算出一个结果。以下是批处理和流出理表支持的分组窗口函数:
(1)TUMBLE(time_attr, interval)
      定义一个滚动窗口。滚动窗口把行分配到有固定持续时间(interval)的不重叠的连续窗口。比如,5分钟的滚动窗口以5分钟为间隔对行进行分组。滚动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。
(2)HOP(time_attr, interval, interval)
      定义一个跳跃窗口(在Table API中成为滑动窗口)。滑动窗口有一个固定的持续时间(第二个interval参数)以及一个滑动的间隔(第一个interval参数)。若滑动间隔小于窗口的持续时间,滑动窗口则会出现重叠;因此,行将会被分配到多个窗口中。比如,一个大小为15分钟的滑动窗口,其滑动间隔为5分钟,将会把每一行数据分配到3个15分钟的窗口中。滑动窗口可以定义咋事件时间(批处理、流处理)或处理时间(流处理)上。
(3)SESSION(time_attr, interval)
      定义一个会话时间窗口。会话时间窗口没有一个固定的持续时间,但是它们的边界会根据interval所定义的不活跃时间所确定;即一个会话时间窗口在定义的间隔时间内没有新纪录出现,该窗口会被关闭。例如时间窗口的间隔时间是30分钟,当其不活跃的时间达到30分钟后,若观测到新的记录,则会启动一个新的会话时间窗口(否则该行数据会被添加到当前的窗口),且若在30分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以使用事件时间(批处理、流处理)或处理时间(流处理)。

2.2 时间属性

      在流处理表中的SQL查询中,分组窗口函数的time_attr参数必须引用一个合法的时间属性,且该属性需要指定行的处理时间或事件时间。
对于批处理的SQL查询,分组窗口函数的time_attr参数必须是一个TIMESTAMP类型的属性。

2.3 选择分组窗口的开始和结束时间戳(辅助函数)

(1)返回相对应的滚动、滑动和会话窗口的开始时间(包含边界)

TUMBLE_START(time_attr, interval)
HOP_START(time_attr, interval, interval)
SESSION_START(time_attr, interval)

(2)返回相对应的滚动、滑动和会话窗口的结束时间(包含边界)

TUMBLE_END(time_attr, interval)
HOP_END(time_attr, interval, interval)
SESSION_END(time_attr, interval)

      注意:返回的间戳不可以在随后基于事件的操作中,作为行时间属性使用,比如基于事件窗口的join以及分组窗口或分组窗口上的聚合。
(3)返回相对应的滚动、滑动和会话窗口的结束时间(不包含边界)

TUMBLE_ROWTIME(time_attr, interval)
HOP_ROWTIME(time_attr, interval, interval)
SESSION_ROWTIME(time_attr, interval)

      返回的是一个可用于后续需要基于时间的操作的时间属性(rowtime attribute),比如基于时间窗口的join以及分组窗口或分组窗口上的聚合。
(4)返回相对应的滚动、滑动和会话窗口的结束时间(不包含边界)

TUMBLE_PROCTIME(time_attr, interval)
HOP_PROCTIME(time_attr, interval, interval)
SESSION_PROCTIME(time_attr, interval)

      返回处理时间参数可用于后续需要基于事件的操作,比如基于时间窗口的join以及分组窗口或分组窗口上的聚合。
      注意:辅助函数必须使用与GROUP BY子句中的分组窗口函数完全相同的参数来调用。

2.4 实战

      以下的例子展示了如何在流处理表中指定使用分组庄口函数的SQL查询。
(1)计算每日的 SUM(amount)(使用事件时间)

SELECT user,
TUMBLE_START(rowtime,INTERVAL1DAY) as wStart,
SUM(amount) FROM Orders
GROUP BY TUMBLE(rowtime,INTERVAL1DAY),user;

(2)计算每日的SUM(amount)(使用处理时间)

SELECT user,
SUM(amount) FROM Orders
GROUP BY TUMBLE(proctime,INTERVAL1DAY),user;

(3)使用事件时间计算过去24小时中每小时的 SUM(amount)

SELECT product,SUM(amount) 
FROM Orders 
GROUP BY HOP(rowtime,INTERVAL1HOUR,INTERVAL1DAY),product;

(4)计算每个以12小时(事件时间)作为不活动时间的会话的SUM(amount)

SELECT user,
SESSION_START(rowtime,INTERVAL12HOUR) as sStart,
SESSION_ROWTIME(rowtime,INTERVAL12HOUR) as snd,
SUM(amount)
FROM Orders
GROUP BY SESSION(rowtime,INTERVAL12HOUR),user;

3 总结

      本章主要是对Flink SQL中的窗口进行了介绍。窗口让我们可以很方便地解决一些实际应用中产生的问题。但是,我觉得我对其掌握的熟练程度不高,有时候,换了一个场景,可能反应不到用哪个类型的窗口会更好一些。后续,我会勤加练习,多了解其在不同场景下的应用。

你可能感兴趣的:(Flink,flink,大数据)