Flink 分区策略

flink1.13用什么策略把数据发送到下个算子中呢?

在分布式计算中,flink把数据集依据不同的策略发送到下游算子中,而策略的实现由分区器决定,flink所有的分区器都实现了ChannelSelector 接口,下面是ChannelSelector的实现类

Flink 分区策略_第1张图片

由实现类我们知道有9种分区器

GlobalPartitioner

数据会被分发到下游算子的第一个实例中进行处理。

ShufflePartitioner

数据会被随机分发到下游算子的每一个实例中进行处理。

RebalancePartitioner

数据会被循环发送到下游的每一个实例中进行处理。

RescalePartitioner

这种分区器会根据上下游算子的并行度,循环的方式输出到下游算子的每个实例。这里有点难以理解,假设上游并行度为2,编号为A和B。下游并行度为4,编号为1,2,3,4。那么A则把数据循环发送给1和2,B则把数据循环发送给3和4。假设上游并行度为4,编号为A,B,C,D。下游并

你可能感兴趣的:(Flink实战,flink,大数据,big,data)