Spark------------宽窄依赖

窄依赖

窄依赖（NarrowDependency）

官方解释:“Base class for dependncies where each partition of the child RDD depends on a small number of partitions of the parent RDD. Narrow dependencies allow for pipelined execution.”

中文意思：“如果新生成的 child RDD 中的每个分区都依赖parent RDD 中的一部分分区，那么这个分区依赖关系被称为 NarrowDependency”

宽依赖

宽依赖（ShuffleDependency）

官方解释:“Represents a dependency on the output of a shuffle stage.”

这是从实现角度来讲的，如果从数据流角度解释，宽依赖表示新生成的 child RDD 中的分区依赖 parent RDD 中的每个分区的一部分。

大家注意我加粗的部分，用一张图来解释：

图1，2，3 都为窄依赖，图4为宽依赖，图中很明显的展示了“一部分分区”和“分区的一部分”的意思。

大家会好奇一点，这有什么作用呢？

①它明确定义了各 RDD 之间的数据依赖关系。

②对数据依赖进行分类有利于生成物理执行计划，stage的划分就依赖于此，后续我们会分析。

有向无环图

有向无环图（Directed acyclic graph, DAG）

在有相互依赖的调度系统中，DAG 有着非常典型的应用。这里以Spark 为例进行说明。

在Spark中的每一个操作生成一个RDD，RDD之间形成一条边，最后这些RDD和他们之间的边组成一个有向无环图，这个就是DAG。

原始的RDD通过一系列的转换就形成了DAG，有了可计算的DAG，Spark内核下一步的任务就是根据DAG图将计算划分成任务集，也就是Stage，这样可以将任务提交到计算节点进行真正的计算。

Spark计算的中间结果默认是保存在内存中的，Spark在划分Stage的时候会充分考虑在分布式计算中可流水线计算的部分来提高计算的效率，而在这个过程中Spark根据RDD之间依赖关系的不同将DAG划分成不同的Stage。

对于窄依赖，partition的转换处理在一个Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。