Spark 2.2 内存占用计算公式
在Spark内存管理调优中，我们需要重点关注的有两类内存：ExecutionMemory and storageMemory。ExecutionMemory用于spark计算中的shuffles、 joins、sorts 、 aggregations这些操作，storageMemory用于缓存数据和保存广播变量数据 。
下面参数均已spark2.2为准，不同版本会有些差异
一、Spark 内存管理
（1）spark内存管理源码入口：SparkEnv.scala，代码片段如下
val
useLegacyMemoryManager = conf.getBoolean(
"spark.memory.useLegacyMode"
,
false
)
val
memoryManager: MemoryManager =
if
(useLegacyMemoryManager) {
new
StaticMemoryManager(conf, numUsableCores)
}
else
{
UnifiedMemoryManager
(conf, numUsableCores)
}
通过源码可知，现在的spark内存管理有两种：静态内存管理
StaticMemoryManager和统一内存管理
UnifiedMemoryManager，
通过参数
spark.memory.useLegacyMode
控制
（2）静态内存管理内存计算公式(源码见StaticMemoryManager.scala)：
ExecutionMemory =
systemMemory *
spark.shuffle.memoryFraction*
spark.shuffle.safetyFraction=
executor-memory*0.2*0.8
storageMemory =
systemMemory*
spark.storage.memoryFraction*
spark.storage.safetyFraction
=
executor-memory*0.6*0.9
（3）统一内存管理内存计算公式(源码见
UnifiedMemoryManager.scala
)：
预留内存reservedMemory=300M
假设spark 应用
分配的
executor内存为
systemMemory=
2G可(通过参数
--executor-memory 2g设置
)，
systemMemory
实际值要比设置
executor-memory
的稍小
（
ExecutionMemory + storageMemory
） =
(
systemMemory-
reservedMemory)
*
spark.memory.fraction =(2048-300)*0.6=1048.8M （实际会比该值稍小）
storageMemory
= (
systemMemory-
reservedMemory)
*
spark.memory.fraction *
spark.memory.storageFraction
=(2048-300)*0.6*0.5=524.4M
二、spark on yarn内存分配
（1） 相关参数介绍
参考博文： http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html?utm_source=tuicool
yarn最小分配单位是
container
关于Spark On YARN相关的配置参数，请参考 Spark配置参数
。本文主要讨论内存分配情况，所以只需要关注以下几个内心相关的参数：
spark.driver.memory
：默认值512m
spark.executor.memory
：默认值512m
spark.yarn.am.memory
：默认值512m
spark.yarn.executor.memoryOverhead
：值为
executorMemory * 0.1, with minimum of 384
spark.yarn.driver.memoryOverhead
：值为
driverMemory * 0.1, with minimum of 384
spark.yarn.am.memoryOverhead
：值为
AM memory * 0.1, with minimum of 384
注意：
--executor-memory/spark.executor.memory
控制 executor 的堆的大小，但是 JVM 本身也会占用一定的堆空间，比如内部的 String 或者直接 byte buffer，
spark.yarn.XXX.memoryOverhead
属性决定向 YARN 请求的每个 executor 或dirver或am 的额外堆内存大小，默认值为
max(384, 0.1 * spark.executor.memory
)
在 executor 执行的时候配置过大的 memory 经常会导致过长的GC延时，64G是推荐的一个 executor 内存大小的上限。
HDFS client 在大量并发线程时存在性能问题。大概的估计是每个 executor 中最多5个并行的 task 就可以占满写入带宽。
另外，因为任务是提交到YARN上运行的，所以YARN中有几个关键参数，参考 YARN的内存和CPU配置
：
yarn.app.mapreduce.am.resource.mb
：AM能够申请的最大内存，默认值为1024MB
yarn.nodemanager.resource.memory-mb
：nodemanager能够申请的最大内存，默认值为8192MB
yarn.scheduler.minimum-allocation-mb
：调度时一个container能够申请的最小资源，默认值为1024MB
yarn.scheduler.maximum-allocation-mb
：调度时一个container能够申请的最大资源，默认值为8192MB
yarn.scheduler.increment-allocation-mb ：
container内存增量，每次增加申请的内存是该值的整数倍，默认值为1G
（2）spark on yarn内存计算公式：
1、spark on yarn申请的container数=num-executors+1 （AM会占用一个container，一个executor占用 一个container）
2、executor需要申请的总内存:total=executor-memory+max(executor-memory*0.1,384)
3、executor所在container实际申请的内存分两种情况：
(1) total <= yarn.scheduler.minimum-allocation-mb，则实际分配内存大小为yarn.scheduler.minimum-allocation-mb
(2)total > yarn.scheduler.minimum-allocation-mb，则实际分配内存大小为yarn.scheduler.minimum-allocation-mb+( total-yarn.scheduler.minimum-allocation-mb)取 yarn.scheduler.increment-allocation-mb的整数倍
假设：yarn.scheduler.minimum-allocation-mb=2G，yarn.scheduler.increment-allocation-mb=1G，--executor-memory 2G
则
executor所在container实际申请的内存=2G+1G=3G
AM所在executor实际申请内存=2G
所有总申请内存为5G