为Hadoop集群撤销节点

阅读更多

2012-12-07

 步骤：

1. 在namenode中应该有至少一个exclude文档，方便将要移除的机器写入其中。

• 对于hdfs，配置属性hdfs.hosts.exclude；
• 对于mapred，配置属性mapred.hosts.exclude。可以都指向该文件。  

2. 手动关闭待下架机器的tasktracker。

方法：在待下架机器上执行   $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker     。  

3. 运行命令强制刷新集群各节点信息

$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes          

4. 查看刷新之后的节点信息

$HADOOP_HOME/bin/hadoop dfsadmin -report            

• 可以发现指定节点状态为：   Decommission Status : Decommission in progress      
• 这表明集群正在拷贝数据到其他机器      
• 等待节点状态改变： Decommission Status : Decommissioned        
• 表明数据拷贝完成，可以下架机器。
• 方法：在待下架机器上执行 $HADOOP_HOME/bin/hadoop-daemon.sh stop datanode        

5.  在namenode的配置文件slaves和exclude文档中移除该节点的信息。

   

【注意】  

 

有时候因为某些原因可能导致撤销节点始终处于Decommission in progress的状态。详情请参考: http://www.hadoopor.com/viewthread.php?tid=4589 

 

本质的原因是某些块复制出现了问题:

查看namenode的日志即可发现问题，类似为：

INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Block: blk_-3167344645674641763_2210, Expected Replicas: 10, live replicas: 6, corrupt replicas: 0, decommissioned replicas: 1, excess replicas: 0, Is Open File: false, Datanodes having this block: 192.168.1.24:50010 192.168.1.23:50010 192.168.1.22:50010 192.168.1.26:50010 192.168.1.25:50010 192.168.1.28:50010 , Current Datanode: 192.168.1.28:50010, Is current datanode decommissioning: true    

解决方法：

在namenode上使用fsck工具查看指定块的位置，然后手动删除