Hadoop 常见问题集锦

1.datanode节点TaskTracker任务启动，但是DataNode任务未启动

这一般是由于对hadoop进行升级后导致的，需要删除hadoop.tmp.dir所对应的文件夹，然后再对namenode进行重新格式化，删除之前先将数据导出，要不然数据就没了

2./lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录 

缺少 glibc.i686组件 

命令：yum install glibc.i686

3. hadoop-site.xml:1:1: 文件提前结束

hadoop目录下面conf文件夹中多了一个hadoop-site配置文件，在0.20.2版本之前，conf里面有一个 hadoop-site.xml文件，在0.20.0之后的版本 conf下没有这个hadoop-site.xml文件，取而代之的是三个文件，core-site.xml,hdfs-site.xml,mapred.xml

解决方法：删除conf文件夹下面的hadoop-site.xml就行

4.用eclipse连接集群查看文件信息提示9001端口拒绝连接的错误

Cannot connect to the Map/Reduce location: hadoop1.0.3

Call to localhost/127.0.0.1:9001 failed on connection exception: java.net.ConnectException: 拒绝连接

解决办法：配置都很正常，就是连接不了。后来重新配置hadoop location，把Map/Reduce Master 和 DFS Master中的Host由localhost改成了ip地址（192.168.33.164）,然后问题就解决了。奇怪，localhost不就是本机嘛，而namenode主机（192.168.33.164）也是本机。

出现问题以后先查看日志， 以下是常见的错误情况 

1 地址占用

org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use

查找被占用的端口号对应的PID   :  netstat -tunl 
p kill  -9   PID实在不行就killall -9  java 

2  safemode 

bin/hadoop fs -put ./input input
put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode. hadoop dfsadmin -safemode leave

解决方法：

NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。

dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

下面这行摘录自NameNode启动时的日志（block上报比例1达到了阀值0.9990）

The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds. 

有两个方法离开这种安全模式 

（1）修改dfs.safemode.threshold.pct为一个比较小的值，缺省是0.999。

（2）hadoop dfsadmin -safemode leave命令强制离开

用户可以通过dfsadmin -safemode value  来操作安全模式，参数value的说明如下：

enter - 进入安全模式

leave - 强制NameNode离开安全模式

get -  返回安全模式是否开启的信息 
wait - 等待，一直到安全模式结束。 

3  could only be replicated to 0 nodes, instead of 1

hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop
.ipc.RemoteException: java.io.IOException: ... could only be replicated to 0 nodes, instead of 1 ...

可能出现的现象： 用jps查看进程都正常。但是用web查看的话，live nodes为0. 这说明datanode没有正常启动，但是datanode进程又启动了。 
解决方法：

（1）防火墙原因

（2）磁盘空间原因

df –ah  #查看磁盘空间

如果是磁盘空间不够，则调整磁盘空间（像我就是磁盘空间不够）

如果上述办法不行，用以下办法（  只不过会丢失掉已有数据，请慎重使用  ）

• 先运行stop-all.sh

• 格式化namdenode，不过在这之前要先删除原目录，即core-site.xml下配置的<name>hadoop.tmp.dir</name>所指向的目录，删除后切记要重新建立配置的空目录，然后运行hadoop namenode -format。 为了方便删除，我写了一个sh脚本来统一执行(这里连log日志文件一并删除了):

• 运行start-all.sh