提交spark的代码的时候出现Exception in thread "main" org.apache.SparkException:Yarn application has already end

出现的具体错误是:

Exception in thread "main" org.apache.SparkException:Yarn application has already ended! It might have been killed or unable to launch application master.

我最开始运行的是client模式出现了Spark的任务无法提交的情况.

之后我更换了运行模式为cluster模式

错误信息:org.apache.hadoop.security.AccessControlException: User gd cannot submit application to queue root.default

当看到这个错误信息的时候,我恍然大悟了,原来是我的提交队列没有给定.因此默认提交的就是root.default的队列,但是这个队列我们公司是不能用的.

解决方法:在提交脚本中添加--queue $SPARK_QUEUE.

再次执行的时候就可以正常运行了.

你可能感兴趣的:(spark,error)