FlinkSql系列7之Temporal Join

FlinkSql系列7之Temporal Join

前言

本次记录一下Temporal Join的具体实践用法

一、Temporal Join是什么？

Temporal Join又可以叫快照Join ,在实时的场景里面，比如说对于一本书的价格可能在一小时前是10，但是一小时后面的时间变成了16，那么对于这种动态改变的时候，我们就要有一种时态表的概念，根据时间的不同可以动态的改变当前的值，这个时候就会用到Temporal Join。

二、测试步骤

1.使用flinkcdc建立要Temporal Join的表

注意点：
1.在msyql里面的这个表并没有设置主键，但是在flinksql里面建时态表的时候，需要指定主键，并且要能根据你的connector来判断让flink自动推断出主键的选择，否则报错，其次在flinksql里面我们可以这样指定主键

PRIMARY KEY(bookname) NOT ENFORCED

2.注意这个表需要定义watermark，是随着时间推移的。

2.建立kafka数据源表

注意：
这里这个表也要指定watermark，用于watermark推移

3.关联查询测试

开始没有结果

mysql表中的数据

kafka 输入数据

可以看到已经匹配上结果：

再次输入kafka数据

可以看到再次关联到

总结

以上就是使用kafka搭配flinkcdc的方式来测试temporal join的方式，我们这里把时间作为数据来输入的，其实效果是一样的，而且测试的时候如果把上面两条kafka的数据反着输入，会发现，第二条八点五十的就关联不到了，因为整个流是随着watermark推移的，保证两个表都要是watermark表来实现。