spark 内存模型详解

首先 Spark 内存分为堆内内存（On-heap）和堆外内存（Off-heap）；Excutor管理堆内存基于是jvm 管理内存之上，堆外内存使用的是节点所在的系统内存。

堆内内存大小可以在spark 程序启动时通过 excutor.memomery或spark.excutor.memomery参数指定，excutor 内运行的并发任务共享jvm内存；堆外内存通过配置 spark.memomery.offHeap.enabled 启用，spark.memomery.offHeap.size 设定内存大小，存储经过序列化的数据

堆内内存包含执行内存、存储内存和其它内存；堆外内存包含执行内存、存储内存

执行内存存储RDD 在shuffle过程中产生的数据

存储内存存储RDD 缓存数据和broadcast的数据

其它内存存储spark 内部的元数据和用户自定义数据结构

在1.6前 spark 采用静态内存管理，即，存储内存和执行内存被设为固定，分别默认为60%和20%，彼此不可占用对方内存

在1.6 后引入动态内存管理机制，当存储存储内存不够用执行内存有余时，占用执行内存，当执行内存不够用时，存储内存归还占用的内存，反之也行。