ERROR tool.ExportTool: Error during export:Export job failed! 解决方法记录

遇到了一个没看懂的异常:

ERROR tool.ExportTool: Error during export: 
Export job failed!
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445)
at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

唯一能看出来的是,sqoop任务失败,建议排错的方式:
查看yarn上的任务日志(logs)

yarn logs -applicationId xxxxxxxxxxxxxxx

通常可以通过日志了解到具体原因所在。

目前我在使用sqoop的过程中出现过两次这个问题。
第一次是由于数据库中的目标表存在主键约束,但hive中的导出表存在重复数据,所以在导出到目标表时由于约束导致导出失败。
第二次是数据库与linux服务器之间的通信问题导致sqoop任务出现connectException。

很有意思的一次排错。同时了解到了如何直接用命令查看yarn的任务日志。

你可能感兴趣的:(ERROR tool.ExportTool: Error during export:Export job failed! 解决方法记录)