hadoop 删除节点(Decommission nodes)

具体的操作步骤网上已经很多,这里只说明一下自己操作过程注意事项:

1.exclude-file中添加的nodes不能是slaves中的,要指定ip( host-name is ok? )

2.不要使用start-balancer.sh而是要hadoop dfsadmin -refreshNodes

    前者是在当前所有结点中进行,不考虑是否有exclude-nodes

3.未确认是否会使用dfs.balance.bandwidthPerSec限制

4.只需要在NN中配置即可,因为指令是由它来发起的,需要接收blocks的DN只负责接收即可

5. 是否有使用block-localization 机制? 如现在是replication为3,如果该excluded node在另一node上已经有其中一个block,那么是否由另一个Node直接掌管,减少net io?

6.处理完后要在slaves上清除exlucded nodes

references:

http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html