Spark提交任务到yarn 报错提示虚拟内存不足解决办法

sparkcontext 初始化失败
ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalStateException: Spark context stopped while waiting for backend

首先去yarn查看日志提示虚拟内存不足
网上查阅资料说导致虚拟内存不足的原因是给节点分配的内存较少，导致yarn杀掉了spark application
所以需要去yarn-site.xml增加配置
1 先关闭Hadoop和spark服务
2 修改yarn-site.xml

	<--  取消物理内存检查  -->
<property> 
	<name>yarn.nodemanager.pmem-check-enabled</name> 
	<value>false</value> 
</property> 
<--  取消虚拟内存检查  --> 
<property> 
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>   
</property> 
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value> 	
</property> ```

3 然后进行分发到其他节点
4 重启Hadoop集群，spark任务看是否正常运行