flink 并行度。

1. 可以在4个地方设置

环境,

客户端

job

操作后面。

优先级 自下而上

2.最大并行度。可以在Job操作两个地方

默认的最大并行度等于将 operatorParallelism + (operatorParallelism / 2) 值四舍五入到大于等于该值的一个整型值,并且这个整型值是 2 的幂次方,注意默认最大并行度下限为 128,上限为 32768

3. 特殊操作

1.不能并行度

本地 和cpu 有关的。

并行度的概念

Flink 运行时包括两类进程:
● JobManager(又称为 JobMaster):协调 Task 的分布式执行,包括调度 Task、协调创建checkpoint 以及当 job failover 时协调各个 Task checkpoint 恢复等。
● TaskManager(又称为 Worker):执行 dataflow 中的 Tasks,包括内存 buffer 的分配、Data Stream 的传递等。

slot 一个taskmanger 共享 cup 内存是分开

共享草 可以可以共享心跳和tpc  和数据集和数据结构。减少负担。


原文链接:https://blog.csdn.net/weixin_44519468/article/details/105909688

你可能感兴趣的:(flink,big,data,hadoop)