Spark内存管理

Spark 1.6之后采用一种新的内存管理设计模式Uniffied Memory Manager，并且在接下来的版本中不断的完善这种内存管理模型。

Spark 内存主要分为两个区域:Store内存和Execution内存。在Spark 1.5之前，内存管理使用的是StaticMemoryManager，这种方式最大的特点就是:Store内存区和Execution内存区被设置成一个静态的Boundary，也就是当程序启动后这两块区域的内存也就确定了，在运行的过程中不可以相互借用，这种方式在实现上相对来说比较简单，但是缺点也是恨明显的，主要体现在如下几个方面：

• 没有一种通用的方式可以适应所有的任务


• 内存优化相当困难，也就是说当程序出现OOM的时候，如果不是对Spark 的运行有一定了解的人很难很好的处理这类型的问题


• 对于那些不需要cache RDD的应用场景，会照成相当多的内存浪费

为了解决上述的问题，Spark社区提出了Uniffied Memory Manager（统一内存管理）的设计模型。Uniffied Memory Manager主要依赖下面几个组件：

Paste_Image.png

从上图中可以看出最直接最核心的类是ExecutionMemoryPool和StoreMemoryPool，它们实现了动态内存池（Memory Pool），可以动态的调整StoreMemory 和 ExecutionMemory之间的Soft boundary，使得内存管理更加的灵活。

内存分布

UnifiedMemoryManager是Memory Manager的一种实现，是给予StaticMemoryManager的改进。这种内存模型也是将某个执行Task的Execution JVM内存划分为两类内训区域：

• Storage 内存区
  
  • Storage 内存，用来缓存Task数据、在Spark急速那中传输（Propagation）内部数据。


• Execution 内存区域
  
  • Execution 内存，用于Shuffle、Join、Sort、 Aggregation计算过程对内存的需求。

这种新的内存管理模型，在Storage内存区与Execution内存之间抽象出一个Soft Boundary，能够满足当某一个内存区中内存用量不足的时候，可以冲另一个内存区中借用。我们可以理解为，上面Storage内存和Execution堆内存是受Spark管理的，而且每一个内存区可以动态伸缩的。这种好处是，当某一个内存区域使用量到达初始分配值，如果不能动态伸缩，不能在两类内存区之间动态调整（Borrow），或者如果某个Task计算的数据量恨到超过限制，就会出现OOM异常导致Task执行失败。应该说，在一定程度上，UnifiedMemoryManager内存管理降低了发生OOM的概率。





我们知道，在Spark Application提交以后，最终会在Worker上启动独立的Executor JVM，Task就运行在Executor里面。在一个Executor JVM 内部，基于UnifiedMemoryManager这种内存管理模型，堆内存的布局如下图：




Paste_Image.png






上图中，systemMemory是Executor Jvm的全部堆内存，在全部堆内存基础上reservedMemory是预留的内存，默认300M，则用于Spark计算使用的堆内存大小默认是：

val   maxMemory=（systemMemory-reservedMemory）*0.6


受Spark管理的堆内存，使用除去预留内存后的、剩余内存的百分比，可以通过参数spark.memory.fraction来配置，默认值是0.6。Executor JVM堆内存，去除预留的reservedMemory内存，默认剩下堆内存的60%用于execution和storage这两类堆内存，默认情况下，Execution和Storage内存区各占50%，这个可以用过参数spark.memory.storageFraction来配置，默认值是0.5。比如，在所有参数都使用默认强狂下，我们的Executor JVM内存指定为2G；那么Unified Memory大小为（10242 - 300）0.6=1048M,其中，Execution和Storage内存区大小分别为：10480.5=524M。另外，还有一个用来保证Spark Application能够计算的最小Executor JVM内存大小限制，即为minSystemMemory=reservedMemory * 1.5 =300 * 1.5=450M，我们假设Executor JVM配置了这个磨人最小限制值450M，则首Spark管理的对内存大小为（450-300）0.6 = 90 M，其中EXecutor和Storage内存大小分别为：900.5=45M，这种情况对一些小内存用量的Spark 就是那也是能够很好的支持的。
第二点需要注意的是 （systemMemory-reservedMemory）0.4 是给应用程序本省运行预留的内存，因为程序本身在运行的时候 也是需要内存的（比如，局部变量的定义什么的）
上面，我们详细的说明了受Spark管理的堆内存（onHeap Memory）的布局，UnifiedMemoryManager也能够对非堆内存（OffHeap Memory）进行管理。Spark堆内存和非堆内存的布局：


Paste_Image.png




通过上图可以看到，非堆内存（OffHeap Memory）默认大小配置为0，表示不使用非堆内存，可以通过参数spark.memory.offHeap.size来设置非堆内存大小。无论是对堆内存，还是非堆内存，都分为Execution内存和Storage内存两部分，他们的分配大小比例通过spark.memory.storageFraction来控制，默认是0.5.