flink中如何把DB大表的配置数据加载到内存中对数据流进行增强处理

背景

在处理flink的数据流时，比如处理商品流时，一般我们从kafka中只拿到了商品id，此时我们需要把商品的其他配置信息比如品牌品类等也拿到，此时就需要关联上外部配置表来达到丰富数据流的目的，如果外部配置表很大，我们如何才能做到加载到内存中并完成丰富数据流的目的呢？

丰富数据流

有两种方式可以实现丰富数据流的效果，一种是把外部配置表所有数据加载到每个TaskManager的内存中，另一种是每个TaskManager只需要加载一部分外部配置表的数据，如下所示：

总结：

当外部配置表的数据量很大时，我们可以采用每个TaskManager加载一部分数据的方式来达到数据增强的效果，至于每个TaskManager加载多少，取决于算子并行度，并行度越高，每个TaskManager就可以加载越少的数据