Hadoop 添加节点和删除节点

一。增加节点
1.解压hadoop程序，并把namnode的配置文件复制到配置文件目录下
2.修改namenode的slaves文件增加该节点
3.在该节点对ssh,hosts，jdk 进行配置，并修改所有节点的/etc/hosts增加该节点映射
4.在该节点启动Datanode和Nodemanager

   $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
   $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager

注：如果新增加的节点是之前安装过Hadoop的 最好删除原来的datanode数据 或者配置新的目录dfs.datanode.data.dir ，否则会启动报错
二.删除节点
1、配置NameNode的hdfs-site.xml，适当减小dfs.replication副本数，增加dfs.hosts.exclude配置

 <property>
    <name>dfs.hosts.excludename>
    <value>/data/hadoop1/hadoop2.7.2/etc/hadoop/excludesvalue>
  property>

2.在对应路径/data/hadoop1/hadoop2.7.2/etc/hadoop/下新建excludes文件保存要删除的ip
3.在NameNode上刷新所有DataNode

$HADOOP_HOME/bin/hdfs dfsadmin -refreshNodes

在不改变dfs.replication 副本数的情况时，查看namenode日志 可以发现 hdfs在自动同步数据以补全副本
在不改变dfs.replication 副本数的情况时，直接使用$HADOOP_HOME/sbin/hadoop-daemon.sh stop datanode 也可以

不过第一种更优雅一些，因为经观察第一种的退役是程序主动进行的 在数据同步过程中DataNode节点仍在运行而第二种则是被动退役这里写代码片