hadoop常见错误及处理方法

hadoop常见错误及处理方法

博客分类： 
• hadoop

Apache 防火墙 Hadoop 

1、hadoop-root-datanode-master.log 中有如下错误： 

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 
导致datanode启动不了。 

原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录. 
格式化hdfs的命令 

 hadoop namenode -format

2、如果datanode连接不上namenode，导致datanode无法启动。 
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host 
关闭防火墙

 service iptables stop

机器重启后，防火墙还会开启。 


3、从本地往hdfs文件系统上传文件，出现如下错误： 
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink 

INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023 

WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block. 

解决方法： 
关闭防火墙： 

 service iptables stop

禁用selinux: 
编辑 /etc/selinux/config文件，设置“SELINUX=disabled” 

4、安全模式导致的错误 
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode 
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。 

 hadoop dfsadmin -safemode leave

  关闭安全模式 

5、以本地模式运行hadoop时，抛异常 
ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.UnknownHostException: hadoop: hadoop: Name or service not known 
Exception in thread "main" java.net.UnknownHostException: hadoop: hadoop: Name or service not known 

把/etc/hostname文件中的主机名加入到/etc/hosts文件中，问题解决。 

6、格式化hdfs文件系统时，出错： 
Format aborted in /home/hadoop/dfs/name  

/home/hadoop/dfs/name 是 dfs.name.dir 配置的本地路径，把这个目录删除， 
再格式化就可以了。 

7、datanode无法启动，datanode的日志中有error： 
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid 

发现日志前一行有warn：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permissi    on for /home/hadoop/dfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x 

按照日志修改了目录的访问权限，问题解决。 

原文链接：http://samwalt.iteye.com/blog/1099348  非常感谢