HDFS添加删除节点并进行集群平衡

HDFS添加删除节点并进行hdfs balance 

方式1：静态添加datanode，停止namenode方式 

1.停止namenode 
2.修改slaves文件，并更新到各个节点 
3.启动namenode 
4.执行hadoop balance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要） 

----------------------------------------- 

方式2：动态添加datanode，不停namenode方式 

1.修改slaves文件，添加需要增加的节点host或者ip，并将其更新到各个节点 
2.在datanode中启动执行启动datanode命令。命令：sh hadoop-daemon.sh start datanode 
3.可以通过web界面查看节点添加情况。或使用命令：sh hadoop dfsadmin -report 
4.执行hadoop balance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要） 

------------------------ 

针对第4点，start-balancer.sh可以执行-threshold参数。 
-threshold参数是指定平衡的阈值。 
-threshold的默认是10，即每个datanode节点的实际hdfs存储使用量/集群hdfs存储量 

举例： 
datanode hdfs使用量1.2G； 
集群总hdfs存储量10T即10000G； 
则t值为1.2/10000 = 0.00012； 
当执行balance的-t参数小于0.00012时，集群进行balance； 
命令为：start-balancer.sh -threshold 0.0001 

注： 
1. balance命令可以在namenode或者datanode上启动； 
可以随时停止balance命令。 
balance的默认带宽是1M/s。 
2. slave文件是用于重启时使用。集群的start和stop需要读取slave文件。 
启用datanode时只要在hdfs-site中配置了namenode位置，就可以将信息push给namenode。 
查看namenode的http管理界面，可查看节点添加情况。 
--------------------------------------------------------------- 

************************************************************************************ 
HDFS删除节点 

方式1：通过dead方式（namenode上）： 

1. sh hadoop dfsadmin  -refreshServiceAcl 

说明：dead方式并未修改slave文件和hdfs-site文件。 
所以在集群重启时，该节点不会被添加到namenode的管理中。 
此次在namenode上进行，其他节点可另行实验。，该命令会将该节点状态置为dead。 
---------------------------------------------------------------- 

方式2：通过decommission方式： 

a) 修改hdfs-site，添加exclude字段中的排除的节点。 
b) 执行sh hadoop dfsadmin -refreshNodes，强制刷新。 
c) 查看节点状态，该节点的状态为decommission。 

说明：decommission方式修改了hdfs-site文件，未修改slave文件。 
所以集群重启时，该节点虽然会被启动为datanode，但是由于添加了exclude，所以namenode会将该节点置为decommission。 
此时namenode不会与该节点进行hdfs相关通信。也即exclude起到了一个防火墙的作用。 

注： 
1. 如果在某个节点单独停止datanode，那么在namenode的统计中仍会出现该节点的datanode信息。 
此时可通过dead或者decommission（退役）方式下线机器。 
--------------------------------------------------------------- 

原文地址：http://phl.iteye.com/blog/1985367