stream-window

介绍

window（窗口）是Flink流处理中非常重要的概念，本篇我们来对窗口相关的概念以及关联的实现进行解析。本篇的内容主要集中在package org.apache.flink.streaming.api.windowing下。

Window

一个Window代表有限对象的集合。一个窗口有一个最大的时间戳，该时间戳意味着在其代表的某时间点——所有应该进入这个窗口的元素都已经到达。
Flink的根窗口对象是一个抽象类，只提供了一个抽象方法：

public abstract long maxTimestamp();

用于获取最大的时间戳。Flink提供了两个窗口的具体实现。在实现Window时，子类应该override equals和hashCode这两个方法，以使得在逻辑上两个相等的window被认为是同一个。

GlobalWindow

GlobalWindow是一个全局窗口，被实现为单例模式。其maxTimestamp被设置为Long.MAX_VALUE。
该类内部有一个静态类定义了GlobalWindow的序列化器：Serializer。

TimeWindow

TimeWindow表示一个时间间隔窗口，这体现在其构造器需要注入的两个属性：

• start : 时间间隔的起始
• end : 时间间隔的截止

TimeWindow表示的时间间隔为[start, end)。其maxTimestamp的实现为：

public long maxTimestamp() {
return end - 1;
}

其equals的实现中，除了常规比较（比较引用，比较Class的实例），还会比较start,end这两个属性。

TimeWindow也在内部实现了序列化器，该序列化器主要针对start和end两个属性。

WindowAssigner

元素的窗口分配器。用于将元素分配给一个或者多个窗口。该抽象类定义了三个抽象方法：

• assignWindows ：将某个带有时间戳timestamp的元素element分配给一个或多个窗口，并返回窗口集合
• getDefaultTrigger ：返回跟WindowAssigner关联的默认触发器
• getWindowSerializer ：返回WindowAssigner分配的窗口的序列化器

内置的WindowAssigner

整个类型继承图如下：

下面会谈到很多基于时间的窗口，这里有两个概念，分别是时间类型和窗口类型：

时间类型：

• eventTime ：用户赋予的自定义的时间戳（事件时间戳）
• processingTime ： 执行当前task的subtask主机的本地时间戳（系统时间戳）

窗口类型：

• Sliding：滑动窗口，可能会重叠（某个元素可能会身处多个窗口中）
• Tumbling：非重叠窗口（在assignWindows方法中返回的一般都是Collections.singletonList()）

GlobalWindows

该分配器对应于窗口GlobalWindow，它将所有的元素分配给同一个GlobalWindow（本质上而言，GlobalWindow也只有一个实例）。跟GlobalWindow的实现方式一样，GlobalWindows也被实现为单例模式。

方法实现：

• assignWindows ：方法的实现即返回存放GlobalWindow单实例的集合对象
• getDefaultTrigger ：的实现是返回一个不做任何动作的NerverTrigger

TumblingEventTimeWindows

依据给定的窗口大小，结合event-time，返回存储TimeWindow单实例的集合。getDefaultTrigger方法返回EventTimeTrigger类型的实例。

TumblingProcessingTimeWindows

依据给定窗口的大小，结合processing-time，返回存储TimeWindow单实例的集合。需要注意的是，这里依据的是运行当前任务所在主机的本地时间戳。getDefaultTrigger方法返回的是ProcessingTimeTrigger类型的实例。

SlidingProcessingTimeWindows

Sliding窗口不同于Tumbling窗口，它除了指定窗口的大小，还要指定一个滑动值，即slide。所谓的滑动窗口可以这么理解，比如：一分钟里每十秒钟。这里一分钟是窗口大小，每十秒即为滑动值。

在Sliding窗口中，assignWindows方法返回的就不再是单个窗口了，而是窗口的集合。首先计算出窗口的个数：size/slide，然后循环初始化给定的size内不同slide的窗口对象。

SlidingEventTimeWindows

类似SlidingProcessingTimeWindows只不过窗口的start参数的计算方式依赖于系统时间戳。

EventTimeSessionWindows

继承MergingWindowAssigner类

public Collection assignWindows(Object element, long timestamp, WindowAssignerContext context) {
return Collections.singletonList(new TimeWindow(timestamp, timestamp + sessionTimeout));
}
public Trigger getDefaultTrigger(StreamExecutionEnvironment env) {
return EventTimeTrigger.create();
}
public TypeSerializer getWindowSerializer(ExecutionConfig executionConfig) {
return new TimeWindow.Serializer();
}

ProcessingTimeSessionWindows

继承MergingWindowAssigner类

public Collection assignWindows(Object element, long timestamp, WindowAssignerContext context) {
long currentProcessingTime = context.getCurrentProcessingTime();
return Collections.singletonList(new TimeWindow(currentProcessingTime, currentProcessingTime + sessionTimeout));
}
public Trigger getDefaultTrigger(StreamExecutionEnvironment env) {
return ProcessingTimeTrigger.create();
}
public TypeSerializer getWindowSerializer(ExecutionConfig executionConfig) {
return new TimeWindow.Serializer();
}

SlidingAlignedProcessingTimeWindows

继承自BaseAlignedWindowAssigner.

简单说，就是要废弃的。

更详细的看：

*这是一个特殊的窗口分配器，用于告诉系统使用
 * “快速对齐处理时间窗口运算符”进行窗口化。
 *
 * 
以前的Flink版本使用该操作符自动进行简单的处理时间
 *窗口（翻滚和滑动），没有指定自定义触发和没有驱逐器。
 *在当前的Flink版本中，该运算符仅在程序明确使用时才使用
 *指定此窗口分配器。这仅适用于程序依赖的特殊情况
 *快速对齐窗口操作员的性能更好，并愿意接受缺点
 *支持各种功能，如下所示：
 *
 * 

 * 
无法选择自定义状态后端，操作员始终将数据存储在Java堆上。
 * 
运算符不支持键组，这意味着它不能改变并行性。
 * 
 Flink的未来版本可能无法从此采取的检查点/保存点恢复
 *操作员。
 * 
 *
 * 
未来实施计划：我们计划添加该运算符使用的一些优化
 *一般窗口操作符，以便将来版本的Flink不会具有性能/功能
 *权衡更多。

TumblingAlignedProcessingTimeWindows

继承自BaseAlignedWindowAssigner。

简单说，就是要废弃的。

同上。

evictors

evitor : 中文译为驱逐者；顾名思义其用于剔除窗口中的某些元素
它剔除元素的时机是：在触发器触发之后，在窗口被处理(apply windowFunction)之前
该接口只定义了一个方法：

int evict(Iterable> elements, int size, W window);

接口的返回值即表示要剔除元素的个数。

内置的Evitor

Flink内置实现了三个Evitor：

• TimeEvitor
• CountEvitor
• DeltaEvitor

TimeEvitor

这个Evitor基于给定的保留时间(keep time)作为剔除规则，大致的实现如下：

public int evict(Iterable> elements, int size, W window) {
int toEvict = 0;
long currentTime = Iterables.getLast(elements).getTimestamp();
long evictCutoff = currentTime - windowSize;
for (StreamRecord