spark on yarn报错 exit code 1的解决方式

spark submit on yarn 提交作业的时候,报错

image.png

由于是本地搭建的伪分布机器,首先想到的是内存分配有问题.在yarn-size.xml中 将 虚拟内存,物理内存检测关闭掉.如下:

yarn.nodemanager.vmem-check-enabled
false


yarn.nodemanager.pmem-check-enabled
false

但是问题还是没有解决. 查看yarn ui 寻找问题.找到container的日志显示
Failed while trying to construct the redirect url.....
解决方式:
1 .需要在 mapred-site.xml 增加 History服务

mapreduce.jobhistory.address
localhost:10020

mapreduce.jobhistory.webapp.address
localhost:19888

2. 在yarn-site.xml 中配置
   
   yarn.log.server.url
   http://127.0.0.1:19888/jobhistory/logs
   

现在就能看到container报错信息了. 原因是依赖没有打包进入.

image.png