Flink中的计算资源

在Flink中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。

StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。
JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的优化为，将多个符合条件的节点 chain 在一起作为一个节点，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。
ExecutionGraph：JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。
物理执行图：JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个TaskManager 上部署 Task 后形成的“图”，并不是一个具体的数据结构。

Job:作业，类似Storm中的Topology，同样对应着Flink中的一层层的图，从StreamGraph --> JobGraph --> ExecutionGraph --> 物理执行图。
Task：类似于Storm中的Bolt，为了拓扑更高效地运行，Flink提出了Chaining，尽可能地将operators chain在一起作为一个task来处理。对应于JobGraph中的JobVertex。
operator：算子，对应于StreamGraph中的StreamNode。

所谓的Operator chains，存在于Flink中StreamGraph --> JobGraph的过程中，将多个符合条件的StreamNode节点 chain在一起作为一个JobNode节点的优化行为.（StreamNode就是Operator，因此称为Operator chains）

为了更高效地分布式执行，Flink会尽可能地将operator的subtask链接（chain）在一起形成task。每个task在一个线程中执行。将operators链接成task是非常有效的优化：它能减少线程之间的切换，减少消息的序列化/反序列化，减少数据在缓冲区的交换，减少了延迟的同时提高整体的吞吐量。

Flink 中的计算资源通过 Task Slot 来定义。每个 task slot 代表了 TaskManager 的一个固定大小的资源子集。例如，一个拥有3个slot的 TaskManager，会将其管理的内存平均分成三分分给各个 slot。将资源 slot 化意味着来自不同job的task不会为了内存而竞争，而是每个task都拥有一定数量的内存储备。需要注意的是，这里不会涉及到CPU的隔离，slot目前仅仅用来隔离task的内存。

概述：
- 所谓的共享Slot，就是指：不同operator下面的subTask（这里是说，一个operator往往会因为并行度的原因，被分解成并行度个数的Task，并行执行），可以在同一个Task Slot中运行，即共享Slot。
- 在Storm中，supervisor下面是work，work中往往一个Executor执行一个Task。
- 而在Flink中，TaskManager下面是slot，相同的是Slot和Work都是一个JVM进程，不同的是TaskManager会对Slot进行资源分配。
优点：
- Flink 集群所需的task slots数与job中最高的并行度一致。也就是说我们不需要再去计算一个程序总共会起多少个task了。
- 更容易获得更充分的资源利用。如果没有slot共享，那么非密集型操作source/flatmap就会占用同密集型操作 keyAggregation/sink 一样多的资源。如果有slot共享，将基线的2个并行度增加到6个，能充分利用slot资源，同时保证每个TaskManager能平均分配到重的subtasks。