flink -----13 并行度和生产上的配置

TaskManager与Slot

Flink的每个TaskManager为集群提供solt。 solt的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。

 

l一个Flink程序由多个任务组成(source、transformation和 sink)。 一个任务由多个并行的实例(线程)来执行， 一个任务的并行实例(线程)数目就被称为该任务的并行度。

l一个任务的并行度设置可以从多个层次指定

•Operator Level（算子层次）

l一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定

Execution Environment Level（执行环境层次）

执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。为了以并行度3来执行所有的算子、数据源和data sink， 可以通过如下的方式设置执行环境的并行度：

•执行环境的并行度可以通过显式设置算子的并行度而被重写

Client Level（客户端层次）

l并行度可以在客户端将job提交到Flink时设定。

l对于CLI客户端，可以通过-p参数指定并行度

l./bin/flink run -p 10 WordCount-java.jar

System Level（系统层次）

在系统级可以通过设置flink-conf.yaml文件中的parallelism.default属性来指定所有执行环境的默认并行度

 

 

生产环境中flink的一些配置

l1：设置 operator 的最大并行度

•0 < 并行度 <= 最大并行度 <= 2^15

•setMaxParallelism（int maxparallelism)

l2：给 operators 设置 UUID

•因为对JobGraph的更改（例如，交换operator）将导致产生新的UUID。 为了建立稳定的映射，我们需要用户来通过 setUid（String uid） 来设定稳定的operator uid。

•在我们进行savepoint的时候，稳定的映射关系是至关重要的

l3：选择state backend

强烈建议生产环境中使用RocksDB