hadoop添加服务器及白名单和黑名单的设置

1.添加新的节点

用文件同步脚本将其他服务器的Hadoop及其配套文件同步即可。
需要注意的是要将之前的系统文件删除（data和log）。

白名单和黑名单不能添加相同的主机。白名单是在构建集群时使用来规定合法的节点的。黑名单是用于退役节点。黑名单退役的节点会将自身存在的文件副本添加到其他集群做备份，而白名单不会。

2.为了防止不知名datanode服务器添加进来我们应该设置白名单。

1.在NameNode主机下的hadoop2.7.2（我的是这个版本）的文件夹中的etc文件夹中的hadoop文件夹中添加一个dfs.hosts(名字任意，默认使用他)
添加下面内容，这是我的允许访问的datanode节点。

hadoop1
hadoop2
hadoop3
hadoop4

在hadf-site.xml文件夹中添加下面那段代码

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

用同步脚本同步一下。在刷新一下namenode

hdfs dfsadmin -refreshNodes

如果删除节点后的数据不均衡可以使用均衡命令

3.黑名单

1.在NameNode主机中的hadoop文件夹中的etc/hadoop创建dfs.hosts.exclude文件。在其中添加要加入黑名单的主机名
2.在hdfs-site.xml文件中添加dfs.hosts.exclude

<property>
<name>dfs.hosts.exclude</name>
      <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

3.刷新NameNode和ResourceManager

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

4.j检查web浏览器，退役节点decommission in progress（退役中），检查副本，我设置默认是4个，在105推去后，回去其他地方备份。