spark如何划分DAG视图

spark根据宽依赖进行DAG视图的划分。

1、窄依赖：每个父RDD的partition 最多被一个子RDD的 partition使用。

 

 　　窄依赖分为两类：第一类是一对一的依赖关系，在Spark中用OneToOneDependency来表示父RDD与子RDD的依赖关系是一对一的依赖关系，如map、filter、join with inputs co-partitioned；第二类是范围依赖关系，在Spark中用RangeDependency表示，表示父RDD与子RDD的一对一的范围内依赖关系，如union。

 

2、宽依赖：每个父 RDD 的patition 都被多个子 RDD的 patition 使用。是一种会导致计算时产生 shuffle 操作的 RDD 操作。

 

3、DAG生成机制：DAG的目的就是对任务进行排队执行。

　　DAG在图论中指的是有向无环图，而在spark中，由于计算过程具有先后顺序，也就是说任务需要进行排队形成一个队列的任务集合，这个队列的任务集合就是DAG图。

　　DAG生成机制关键就是对stage的划分，划分stage的依据就是RDD的依赖关系，对于窄依赖，RDD之间的数据不需要进行shuffle，多个数据处理只需要在同一台机器的内存中就能完成计算，因此可以将其划分到同一个stage当中。而宽依赖，涉及到shuffle，必须等到父RDD完成计算，才能进行下一步计算，因此会在宽依赖处进行stage的切分。

 　　在Spark中，DAG生成的流程关键在于回溯，在程序提交后，高层调度器将所有的RDD看成是一个Stage，然后对此Stage进行从后往前的回溯，遇到Shuffle就断开，遇到窄依赖，则归并到同一个Stage。等到所有的步骤回溯完成，便生成一个DAG图。

参考博客：https://blog.csdn.net/newchitu/article/details/92797090#一、窄依赖解析