Spark(三十四)troubleshooting之解决yarn-cluster模式的JVM内存溢出无法执行问题
一、背景实践经验,碰到的yarn-cluster的问题:1、有的时候,运行一些包含了sparksql的spark作业,可能会碰到yarn-client模式下,可以正常提交运行;yarn-cluster模式下,可能是无法提交运行的,会报出JVM的PermGen(永久代)的内存溢出,OOM。2、yarn-client模式下,driver是运行在本地机器上的,spark使用的JVM的PermGen的配置