【解决】Spark On Yarn执行中executor内存限制问题

解决Spark On Yarn执行中executor内存限制问题

集群版本 Spark1.3.1 + Hadoop.2.6-CDH5.4

启动Spark-SQL的JDBC服务，如下：

start-thriftserver.sh --master yarn-client --executor-memory 15g --num-executors 13 

提示内存不足

Required executor memory (xxx MB) is above the max threshold (xxx MB) of this cluster!

解决方案，修改Yarn的配置文件：

1、yarn.nodemanager.resource.memory-mb 容器内存

设置为 至少 : executor-memory(15g) + driver(512m)的内存，如上例可配置为 16g

2、yarn.scheduler.maximum-allocation-mb 最大容器内存

设置为 至少 : executor-memory(15g) + driver(512m)的内存，如上例可配置为 16g

第一个参数为NodeManager的配置 ，第二个参数为 ResourceManager的配置。

参看截图：

1） 整合在YARN中

2）配置executor内存15g