Spark 内存相关(qbit)

前言

  • 本文对 spark 2.1.x 适用

executor 内存模型

堆内内存与堆外内存

Spark 内存相关(qbit)_第1张图片

堆内内存

Spark 内存相关(qbit)_第2张图片

堆外内存

Spark 内存相关(qbit)_第3张图片

动态资源分配

  • 基本参数设置
# 配置 external shuffle service 服务(一定要配置启用)
spark.shuffle.service.enabled = true
spark.shuffle.service.por = 7337
# 启用动态资源调度
spark.dynamicAllocation.enabled = true
# 每个应用中最少 executor 的个数
spark.dynamicAllocation.minExecutors = 1
# 每个应用中最多 executor 的个数
spark.dynamicAllocation.maxExecutors = 8
# 每个应用中初始 executor 的个数,会被 spark.executor.instances 覆盖
spark.dynamicAllocation.initialExecutors = 2

相关链接

本文出自 qbit sanp

你可能感兴趣的:(spark,内存管理)