Flink分区策略

 目前Flink支持8种分区策略:

  • GlobalPartitioner: 数据会被分发到下游算子的第一个实例中进行处理。
  • ShufflePartitioner :数据会被随机分发到下游算子的每一个实例中进行。
  • RebalancePartitioner: 数据会被循环发送到下游的每一个实例中进行处理。
  • RescalePartitioner :这种分区器会根据上下游算子的并行度,循环的方式输出到下游算子的每个实例。这里有点难以理解,假设上游并行度为 2,编号为 A 和 B。下游并行度为 4,编号为 1,2,3,4。那么 A 则把数据循环发送给 1 和 2,B 则把数据循环发送给 3 和 4。假设上游并行度为 4,编号为 A,B,C,D。下游并行度为 2,编号为 1,2。那么 A 和 B 则把数据发送给 1,C 和 D 则把数据发送给 2。
  • BroadcastPartitioner :广播分区会将上游数据输出到下游算子的每个实例中。适合于大数据集和小数据集做Jion的场景。
  • ForwardPartitioner:用于将记录输出到下游本地的算子实例。它要求上下游算子并行度一样。简单的说,ForwardPartitioner用来做数据的控制台打印。​​​​​​​
  • KeyGroupStreamPartitioner :Hash 分区器。会将数据按KeyHash值输出到下游算子实例中。​​​​
  • CustomPartitionerWrapper:用户自定义分区器。需要用户自己实现 Partitioner 接口,来定义自己的分区逻辑。
static class CustomPartitioner implements Partitioner { 
    @Override 
    public int partition(String key, int numPartitions) { 
        switch (key){ 
            case "1": return 1;
            case "2": return 2;
            case "3": return 3;
            default : return 4;
        }
    }
}
 

你可能感兴趣的:(Flink)