Spark内存管理

1. 存储总体结构

Spark存储结构分为两层：内存存储和磁盘存储，其中内存主要用作缓存以及任务计算时期数据存储，磁盘用在内存存储不足时使用。Executor和Driver都是委托BlockManager来管理存储以及Executor和Driver的通信（主要是数据传输和数据块信息的回报），BlockManager体系结结构如下图：

存储体系结构

1. 其中DiskStore实现数据块到磁盘的存取。
2. MemoryStore负责数据块在内存中存储

由于分配给Executor和Driver内存资源有限，需要小心的分配避免OOM的出现，同时也需要合理分分配避免内存资源的浪费，因此MemoryStore使用MemoryManager来管理内存，MemoryAllocator来分配内存。

对内存的管理包含了对内存使用的监控和真正的内存分配。反应到上图中MemoryManager仅仅完成内存使用情况的监控，内存的分配则是通过MemoryAllocator实现的，本文主要介绍一下MemoryManager的使用

2. MemoryManager

Spakr中内存包括堆上内存（On-heap）和堆外内存(Off-heap), MemoryManager管理着这两种内存的使用情况（总大小，使用多少，剩余多少之类的）。所以真正分配内存之前，还是需要通过memoryManager提供的接口判断是否有足够的剩余内存以供使用，然后才去通过memoryAllocator去执行分配操作。

目前MemoryManager有两种实现方式：StaticMemoryManager，UnifiedMemoryManager。UnifiedMemoryManager是1.6后增加的，默认会使用这种方式。

用过配置spark.memory.useLegacyMode=true 使用StaticMemoryManager

不管哪种方式，堆上内存和堆外内存都被划分为execution memory和storage memory

1. execution memory主要用于计算，例如shuffle过程中从上游分区fetch过来的数据就是临时存储在execution memory中，以方便快速的做reduce操作等。
2. storage memory用户缓存数据，例如RDD # cache的调用就是将rdd的数据缓存在内存中重复使用

storage memory还分出一块叫着unroll memory的块，原因是spark中数据可以是序列化的数据，当需要将序列化的数据存到内存中时，通过iterator一条条取出反序列化后的数据过程就是unroll， 由于不知道会有多少数据，所以这个过程是内存使用是逐渐增长的，这部分动态变化的内存就是unroll memory

2.1 StaticMemoryManager

内存 结构如下：

StaticMemoryManager内存划分

1. execution mem占用比例由spark.shuffle.memoryFraction控制默认20%
2. execution mem中safty mem是可用于计算的内存，由spark.shuffle.safetyFraction设置，默认80%。留一个安全内存区的原因可能是内存使用大小的计算不是一个精确值，留有余地可以避免一个可能很大的对象放进去之后导致内存不够。所有如果execution memory绝对值很大的话，理论上safty mem的比例可以设置到高一点。
3. storage mem通过spark.storage.memoryFraction设置比例，默认是60
4. storage mem同样有一个安全使用比例，通过spark.storage.safetyFraction设置，默认是90。当storage mem的绝对大小很大时，也可以适当提高这个安全比例
5. storage mem中有一部分留作unroll内存，通过spark.storage.unrollFraction设置比例。

使用StaticMemoryManager时不能使用堆外内存。

2.3 UnifiedMemoryManager

这是spark 1.6之后新引入的内存管理方式，也是当前默认的方式。在StaticmemoryManager中，storage memory和execution memory有很明确的界限，互相之间不能借用，在execution memory不够时，如果 storage memory存在空闲内存也不能临时借用，UnifiedMemoryManager为解决这种问题而出现。此外，UnifiedMemoryManager引入了对堆外内存的管理。

UnifiedMemoryManager的内存结构如下（下图只是on-heap内存划分，off-heap有些不一样）

UnifiedMemoryManager内存结构

1. reserved mem是预留内存，用作spark execution & storage以外的java对象的分配，默认大小是300M，不可改变. 同时要求整个堆区内存大小大于 1.5 * 300M.
2. 除去reserved mem以外都是用于spark 的storage&execution内存（下文称usable mem）， 但是实际实现中storage & execution 内存被设置成usable mem的60%（由spark.memory.fraction设置），留有余地可能原因应该和StaticMemoryManager中的saftyFraction一样。
3. 然后就是storage & execution memory被平分给storage 和execution(可以通过spark.memory.storageFraction去调节)。

UnifiedMemoryManager在管理内存使用中，execution和storage在不够的情况下可以向对对方借用内存，因此它们所占的比例是动态变化的。

off-heap 内存
堆外内存大小通过spark.memory.offHeap.size设置（默认是0），由于是对外内存，因此不需要预留内存给普通的对象分配，所以整个堆外内存用于storage & execution, 比例同样通过spark.memory.storageFraction去调节, 和堆上内存一样，堆外storage和execution是可以相互借用的。