sqoop导入数据报错解决

使用sqoop导入数据发现mr job执行报错如下:

sqoop导入数据报错解决_第1张图片

看打印的信息没找到原因,查看web日志

http://rmhost:8042/logs/userlogs/

rmhost替换成自己的rm的host,在该目录下找到applicationID,一直点进去,到syslog下查看日志

sqoop导入数据报错解决_第2张图片

看到的第一条报错是这里,但是找了下发现这个路径存在,删除之后重启yarn和dfs也不行,继续翻日志发现报错如下:

sqoop导入数据报错解决_第3张图片

看了下应该就是webapp的配置有问题导致的,查看yarn-site.xml配置发现确实没有相关配置,添加相关配置: (其实只添加webapp两个ha的rm就行)

 
       
                yarn.resourcemanager.webapp.address.rm1
                rm1host:8088
       

       
                yarn.resourcemanager.scheduler.address.rm2
                rm2
       

       
                yarn.resourcemanager.webapp.address.rm2
                rm2host:8088
       

 可参考以下文章:

org.apache.hadoop.mapreduce.v2.app.client.MRClientService: Webapps failed to start. Ignoring for now:java.lang.NullPointerException报错 || 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster报错 - 醉生梦死_0423 - 博客园 (cnblogs.com)

(4条消息) Mapreduce运行异常Container exited with a non-zero exit code 1_卷心恒远的博客-CSDN博客 

你可能感兴趣的:(sqoop,mr)