spark on yarn提交任务后总是accepted以及通过yarn关闭application

打开链接:

http://Desktop:8088/proxy/application_1588324196554_0005/

点击图中 Queue后面的default

会看到队列100%

 

解决方案[1]:

检查内存是否没释放

yarn application -list

yarn application -kill application_1437456051228_1725 

${HADOOP_HOME}/logs下面的东西都清掉

如果想要减少accepted，我的经验是，不要在启动命令中加入一堆参数，例如：

spark-submit --master yarn --deploy-mode cluster xxx.jar

这样进入RUNNING的速度会更快，原因暂时不明。

Reference:

[1]https://www.cnblogs.com/zlslch/p/6683814.html