Flink Interval Join源码理解

参考： https://www.jianshu.com/p/179beca9f307

interval join ：两条数据流+between边界+过期数据清理

demo:

 下面看下源码实现

intervalJoin 属于 KeyedStream，源码部分也在KeyedStream中

 

• KeyedStream的intervalJoin创建并返回IntervalJoin
• IntervalJoin提供了between操作，用于设置interval的lowerBound及upperBound，即between边界区间（默认闭区间），between操作创建并返回IntervalJoined
• 
•  IntervalJoined提供了process操作，process操作里头创建了IntervalJoinOperator
• 

在这里return的是 left.connect(right).keyBy(keySelector1, keySelector2) , 因为left.connect(right)返回的是 ConnectedStreams, keySelector1/2是指demo中两个数据流的keyBy条件，类似与flinksql join中的 on

换类了，现在是IntervalJoinOperator类中了，重点也就在IntervalJoinOperator中

 

• IntervalJoinOperator继承了AbstractUdfStreamOperator抽象类，实现了TwoInputStreamOperator及Triggerable接口
• IntervalJoinOperator重写了AbstractUdfStreamOperator(StreamOperator定义)的open、initializeState方法，在initializeState中，创建了leftBuffer和rightBuffer两个MapState，key为Long表示时间时间戳，List>表示该时刻到来的数据记录，当左流和右流有数据到达时，会分别调用processElement1()和processElement2()方法，它们都调用了processElement()方法
• processElement方法中实现了 （1）根据数据时间戳和watermark判断数据是否late，如果late就return，否则就添加到buffer中     （2）遍历otherBuffer，（也就是左右mapState，一个是buffer，另外个就是otherBuffer），判断时间是否满足要求，即判断有数据在边界内（ourTimestamp + relativeLowerBound <= timestamp <= ourTimestamp + relativeUpperBound），如果在就调用 collect方法   （3）collect方法也就是我们demo中定义的process方法，对两条流匹配上的数据进行数据  （4）计算这条数据的cleanupTime，调用internalTimerService.registerEventTimeTimer注册清理该数据的timer，到时候就把这条数据从state里清除

所有intervalJoin的很多功能都是在IntervalJoinOperator中实现的

整体总结下来就是 IntervalJoin 里设置上下边界，后在IntervalJoined中进行双流connect，然后在IntervalJoinOperator中实现数据的匹配以及设置数据的过期定时器timer等等。

https://blog.csdn.net/qq_34864753/article/details/111183556 在这篇博客里介绍了intervalJoin的watermark生成以及状态的清理机制，有兴趣的可以看看