hadoop动态增加删除节点

在master的conf/hdfs-site.xml中加入

<property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property>

在$HADOOP_HOME下创建exclueds文件

文件内容增加你想删除的节点，一行一个

/bin/hadoop dfsadmin -refreshNodes命令刷新datanode例表

/bin/hadoop dfsadmin -report查看结果

Datanodes available: 1 (1 total, 0 dead)


Name: 192.168.200.118:50010
Decommission Status : Decommission in progress
Configured Capacity: 211370565632 (196.85 GB)
DFS Used: 11459694592 (10.67 GB)
Non DFS Used: 187135799296 (174.28 GB)
DFS Remaining: 12775071744(11.9 GB)
DFS Used%: 5.42%
DFS Remaining%: 6.04%
Last contact: Wed Feb 22 23:51:48 PST 2012

在Decommission Status : Decommission in progress变为 Decommission Status : Decommission normal前mapreduce会异常

增加节点

在/conf/slaver文件中加入节点的hostname

在每个节点的hosts文件中加入新节点的hostname

在新节点的机器上执

/bin/./hadoop-daemon.sh start datanode

/bin/././hadoop-daemon.sh start tasktracker

 

数据负载均衡

1. 在Hadoop集群中新添加一个Datanode时，需要对集群数据进行负载均衡。

2. 在主节点运行bin/start-balancer.sh命令，可以添加参数-threshold 5，threshold是平衡阈值，默认是10%，值越小负载越均衡，但需要更长的时间去执行。

3. 添加s140到集群，执行负载均衡半个小时共负载了4G的数据