hive join操作踩坑记-报错信息FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr...

#Hive join操作踩坑记

事件经过

使用hive join操作时，肉眼可见同样的操作用时越来越长，同样的操作用时从一百多秒直接飙升到三四百秒，并且有时运行时汇报出错误信息 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)。通过jobhistoryserver的记录显示一些reduce task运行失败了，报错信息为There are 2 datanode(s) running and no node(s) are excluded in this operation。通过搜索得知可能是由于hdfs存储空间不足导致

报错信息

（1）hive报错信息
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)

（2）jobhistoryserver报错信息
There are 2 datanode(s) running and no node(s) are excluded in this operation.

错误排查

（1）查询hdfs可用空间
既然考虑到可能是由于hdfs存储空间不足，因此直接查询hdfs剩余空间：

hdfs dfsadmin -report

不查不知道，一查吓一跳，厉害了我的hdfs。

（2）查询hdfs中占用存储资源较大的文件

hdfs dfs -du -h -s   /user

最后定位了这位老兄。

占用空间最大的为/user/hadoop/.Trash，原来是贴心的hdfs给小白们挖的一个坑，将Trash清楚之后果然join操作跑起来也66的了。