Spark Tungsten-sort Based Shuffle

想让您的程序使用Tungsten的功能，可以配置： 

Spark.Shuffle.Manager = tungsten-sort 

Spark在钨丝计划下要管理两种类型的内存存储方式：堆内和堆外。为了管理他们，所以搞了一个Page。 

堆外：指针直接指向数据本身。 

堆内：指针首先指向Object，然后通过偏移量OffSet再具体定位到数据。 

2. DataFrame中自动开启了Tungsten功能。

输入数据的时候是循环每个Task中处理的数据Partition的结果，循环的时候会查看是否有内存，一个Page写满之后，才会写下一个Page。 

如何看内存是否足够？ 

a） 系统默认情况下给ShuffleMapTask最大准备了多少内存空间？默认情况下是通过ExecutorHeapMemory*0.8*0.2 

Spark.shuffle.memoryFraction=0.2 

spark.shuffle.safetyFraction=0.8 

b） 另外一方面是和Task处理的Partition大小紧密相关。 

1.mergeSpills的功能是将很多小文件合并成一个大文件。然后加上index文件索引

2.和Sort Based Shuffle 过程基本一样。 

3.写数据在内存足够大的情况下是写到Page里面，在Page中有一条条的Record，如果内存不够的话会Spill到磁盘中。此过程跟前面讲解Sort base Shuffle writer过程是一样的。 

4.基于UnsafeShuffleWriter会有一个类负责将数据写入到Page中。 

5.insertRecordIntoSorter: 此方法把records的数据一条一条的写入到输出流。 

而输出流是: ByteArrayOutputStream

6.serBuffer实例化,默认大小是1M,也就是输出流的大小默认是1M。