spark shuffle和宽窄依赖的关系

前言

 

stage作为是Spark应用程序的调度任务划分模块，对它的理解有助你提高编写Spark代码的编写，说到底想要玩好Spark，就要玩好RDD。

 

宽窄依赖

 

宽依赖：1.父类RDD的一个分区上的数据对应承接给同一个子类RDD的多个分区——即RDD是1对1，但分区是1对多。

             2.父类RDD的一个分区上的数据对应承接给多个子类RDD的一个或多个分区——即RDD是1对多，但分区是1对1，也可以是1对多。

窄依赖：1.父类RDD的一个分区上的数据对应承接给唯一的子类RDD且分区也是一一对应——即RDD是1对1，分区也是1对1。

从宽窄依赖看shuffle：

宽依赖：有分区的操作，有shuffle，会落地磁盘。

窄依赖：无分区的操作，无shuffle,基于内存计算。

总结：在内存足够的前提下，减少使用有shuffle的算子，会提高代码运行效率。

 

DAG 划分stage的规则：

在运行时也就是触发action算子开始向前回溯后，遇到宽依赖就切分成一个stage。每一个stage包含一个或多个并行的task任务，

这里的task指的是组成一个task线程中的一部分，一条task线程会负责处理一个partiton中的一部分数据——即在程序运行时数据的划分是：一个stage由一个或多个partition组成，而其中每个partition的数据又是由多个task任务负责处理，且每个task任务会横向贯穿于多个stage当中。这样就使其形成了一套完整的内存迭代计算。

这也是spark计算所依赖的pipeline流的原理——管道计算。