Spark 内存相关（qbit）

前言

• 本文对 spark 2.1.x 适用

executor 内存模型

堆内内存与堆外内存

堆内内存

堆外内存

动态资源分配

• 基本参数设置

# 配置 external shuffle service 服务（一定要配置启用）
spark.shuffle.service.enabled = true
spark.shuffle.service.por = 7337
# 启用动态资源调度
spark.dynamicAllocation.enabled = true
# 每个应用中最少 executor 的个数
spark.dynamicAllocation.minExecutors = 1
# 每个应用中最多 executor 的个数
spark.dynamicAllocation.maxExecutors = 8
# 每个应用中初始 executor 的个数，会被 spark.executor.instances 覆盖
spark.dynamicAllocation.initialExecutors = 2

• Dynamic Allocation

相关链接

• 线程瓜分 executor 内存： 如何设置Spark Executor Memory的大小
• 对 spark ui 显示内存数值的算账： Spark内存管理之堆内/堆外内存原理详解

本文出自 qbit sanp