Spark Shuffle

目录

 

Shuffle

Shuffle Write和Shuffle Read

HashShuffle

 普通机制Hash Shuffle

具体过程

Hash shuffle普通机制的问题 

合并机制Hash Shuffle

具体过程

Hash shuffle合并机制的问题 

SortShuffle

 普通机制Sort Shuffle

具体过程

Bypass机制Sort Shuffle

 具体过程

---

Shuffle

Shuffle是Spark Job中一个重要的阶段，发生在Map和Reduce之间，涉及到map到reduce之间的数据的移动。把Map阶段RDD的数据都抽离出来，然后按照一定规则发给Reduce阶段RDD，这就是Shuffle大致过程。

RDD中又分为窄依赖和宽依赖，窄依赖跟宽依赖的区别是是否发生 Shuffle。

窄依赖是子 RDD的各个分区(Partition)不依赖于其他分区，能够独立计算得到结果，所以窄依赖不会发生Shuffle；宽依赖指子 RDD 的各个分区会依赖于父RDD 的多个分区，这样就会造成父 RDD 的各个分区在集群中重新分区，所以宽依赖会发生Shuffle。所以Spark的Stage划分也就是以Shuffle依赖为界限划分的。

Shuffle 操作是 Spark 中最耗时的操作，应尽量避免不必要的 Shuffle.。

Shuffle Write和Shuffle Read

Shuffle过程分为Shuffle Write和Shuffle Read阶段.

Shuffle Write：

主要就是在一个Stage结束后，将每个Task处理的数据按Key进行“分区”。所谓“分区”，就是对相同的Key执行Hash算法，从而将相同Key都写入同一个磁盘文件中，而每一个磁盘文件都只属于Reduce端的Stage的一个Task。在将数据写入磁盘之前，会先将数据写入内存缓冲中，当内存缓冲填满之后，才会溢写到磁盘文件中去。

那么每个执行Shuffle Write的Task，要为下一个Stage创建多少个磁盘文件呢?

一般情况下，下一个Stage的Task有多少个，当前Stage的每个Task就要创建多少份磁盘文件。比如下一个Stage总共有100个Task，那么当前Stage的每个Task都要创建100份磁盘文件。如果当前Stage有50个Task，总共有10个Executor，每个Executor执行5个Task，那么每个Executor上总共就要创建500个磁盘文件，所有Executor上会创建5000个磁盘文件。由此可见，未经优化的Shuffle Write操作所产生的磁盘文件的数量是极其惊人的。

Shuffle Read：

Shuffle Read，通常就是一个Stage刚开始时要做的事情。此时该Stage的每一个Task就需要将上一个Stage的计算结果中的所有相同Key，从各个节点上通过网络都拉取到自己所在的节点上，然后进行Key的聚合或连接等操作。由于Shuffle Write的过程中，Task给Reduce端的Stage的每个Task都创建了一个磁盘文件，因此Shuffle Read的过程中，每个Task只要从上游Stage的所有Task所在节点上，拉取属于自己的那一个磁盘文件即可。

Shuffle Read的拉取过程是一边拉取一边进行聚合的。每个Shuffle Read Task都会有一个自己的Buffer缓冲，每次都只能拉取与Buffer缓冲相同大小的数据，然后通过内存中的一个Map进行聚合等操作。聚合完一批数据后，再拉取下一批数据，并放到Buffer缓冲中进行聚合操作。以此类推，直到最后将所有数据到拉取完，并得到最终的结果。

 

HashShuffle

HashShuffleManager的运行机制主要分成两种，一种是普通运行机制，另一种是合并的运行机制。合并机制主要是通过复用buffer来优化Shuffle过程中产生的小文件的数量。Hash shuffle是不具有排序的Shuffle。

 普通机制Hash Shuffle

具体过程

每个Executor只有1个Core，也就是说，无论这个Executor上分配多少个Task线程，同一时间都只能执行一个Task线程。

图中有3个 Reduce端，从Task 开始那边各自把自己进行 Hash 计算，分类出3个不同的类别，每个 Task 都分成3种类别的数据，想把不同的数据汇聚然后计算出最终的结果，所以Reducer 会在每个 Task 中把属于自己类别的数据收集过来，汇聚成一个同类别的大集合，每1个 Task 输出3份本地文件，这里有4个 Mapper Tasks，所以总共输出了4个 Tasks x 3个分类文件 = 12个本地小文件。

磁盘小文件个数 = Map Task的数量 * Reduce的数量

 

Hash shuffle普通机制的问题 

Shuffle前在磁盘上可能会产生海量的小文件，这样建立通信和拉取数据的次数变多，会产生大量耗时低效的 IO 操作。大量耗时低效的 IO 操作 ，导致写磁盘时的对象过多，读磁盘时候的对象也过多。这些对象存储在堆内存中，会导致堆内存不足，相应会导致频繁的垃圾回收，垃圾回收会导致OOM。

 

合并机制Hash Shuffle

具体过程

合并机制就是复用Buffer，开启合并机制的配置是spark.shuffle.consolidateFiles。该参数默认值为false，将其设置为true即可开启优化机制。通常来说，如果我们使用HashShuffleManager，那么都建议开启这个选项。

这里还是有4个Tasks，数据类别还是分成3种类型，因为Hash算法会根据你的 Key 进行分类，在同一个进程中，无论是有多少过Task，都会把同样的Key放在同一个Buffer里，然后把Buffer中的数据写入以Core数量为单位的本地文件中，(一个Core只有一种类型的Key的数据)，每1个Task所在的进程中，分别写入共同进程中的3份本地文件，这里有4个Mapper Tasks，所以总共输出是 2个Cores x 3个分类文件 = 6个本地小文件。

磁盘小文件个数 = CPU的核数 * Reduce的数量

Hash shuffle合并机制的问题 

如果 Reducer 端是并行任务或者是数据分片过多的话则 Core * Reducer Task 依旧过大，也会产生很多小文件。

SortShuffle

SortShuffleManager的运行机制主要分成两种，一种是普通运行机制，另一种是Bypass运行机制。当Shuffle Read Task的数量小于等于spark.shuffle.sort.bypassMergeThreshold参数的值时(默认为200)，就会启用Bypass机制。

 普通机制Sort Shuffle

具体过程

在该模式下，数据会先写入一个内存数据结构中(默认5M)，此时根据不同的Shuffle算子，可能选用不同的类型。如果是reduceByKey这种聚合类的Shuffle算子，那么会选用Map类型。一边通过Map进行聚合，一边写入内存；如果是join这种普通的Shuffle算子，那么会选用Array类型，直接写入内存。接着，每写一条数据进入内存之后，就会判断一下，是否达到了某个临界阈值。如果达到临界阈值的话，那么就会尝试将内存数据结构中的数据溢写到磁盘，然后清空内存数据结构。

在溢写到磁盘文件之前，会先根据key对内存数据结构中已有的数据进行排序。

排序后，会分批将数据写入磁盘文件。默认的Batch数量是10000条，也就是说，排序好的数据，会以每批1万条数据的形式分批写入磁盘文件。写入磁盘文件是通过Java的BufferedOutputStream实现的。BufferedOutputStream是Java的缓冲输出流，首先会将数据缓冲在内存中，当内存缓冲满溢之后再一次写入磁盘文件中，这样可以减少磁盘IO次数，提升性能。

一个Task将所有数据写入内存数据结构的过程中，会发生多次磁盘溢写操作，也就会产生多个临时文件。最后会将之前所有的临时磁盘文件都进行合并，这就是Merge过程，此时会将之前所有临时磁盘文件中的数据读取出来，然后依次写入最终的磁盘文件之中。此外，由于一个Task就只对应一个磁盘文件，也就意味着该Task为Reduce端的Stage的Task准备的数据都在这一个文件中，因此还会单独写一份索引文件，其中标识了下游各个Task的数据在文件中的Start Offset与End Offset。

SortShuffleManager由于有一个磁盘文件merge的过程，因此大大减少了文件数量。

Bypass机制Sort Shuffle

 

 具体过程

Bypass运行机制的触发条件如下：

1)Shuffle Map Task数量小于spark.shuffle.sort.bypassMergeThreshold参数的值。

2)不是聚合类的Shuffle算子(比如reduceByKey)。

此时Task会为每个Reduce端的Task都创建一个临时磁盘文件，然后根据Key的Hash值，将Key写入对应的磁盘文件中。写入磁盘文件时也是先写入内存缓冲，缓冲写满之后再溢写到磁盘文件的。最后，同样会将所有临时磁盘文件都合并成一个磁盘文件，并创建一个单独的索引文件。

该过程的磁盘写机制其实和普通运行机制的HashShuffleManager是一模一样的，都要创建数量惊人的磁盘文件，只是在最后会做一个磁盘文件的合并。因此少量的最终磁盘文件，该机制相对未经优化的HashShuffleManager来说，Shuffle Read的性能会更好。

而该机制与普通运行机制的不同在于：

第一，磁盘写机制不同;

第二，不会进行排序，Shuffle Write过程中，不需要进行数据的排序操作。