Flink源码解析零之重要名词的理解

名词解释

1)StreamGraph

根据用户通过 Stream API 编写的代码生成的最初的图。

(1)StreamNode

用来代表 operator 的类,并具有所有相关的属性,如并发度、入边和出边等。

(2)StreamEdge

表示连接两个StreamNode的边。

2)JobGraph

StreamGraph经过优化后生成了 JobGraph,提交给 JobManager 的数据结构。

(1)JobVertex

经过优化后符合条件的多个StreamNode可能会chain在一起生成一个JobVertex,即一个JobVertex包含一个或多个operator,JobVertex的输入是JobEdge,输出是IntermediateDataSet。

(2)IntermediateDataSet

表示JobVertex的输出,即经过operator处理产生的数据集。producer是JobVertex,consumer是JobEdge。

(3)JobEdge

代表了job graph中的一条数据传输通道。source 是 IntermediateDataSet,target 是 JobVertex。即数据通过JobEdge由IntermediateDataSet传递给目标JobVertex。

3)ExecutionGraph

JobManager 根据 JobG

你可能感兴趣的:(Flink,flink,源码)