hadoop集群datanode、nodemanager节点下线

最近要下线几台Datanode,所以整理一下方法


一、修改hdfs-site.xml文件

1.在namenode节点hdfs.site中增加配置,在standby中也同时修改

   dfs.hosts.exclude
   /data/app/hadoop-2.6.5/etc/hadoop/datanode.excludes

二、修改yarn-site.xml文件

2.在resourcemanager节点中yarn-site.xml增加配置,在standby中也同时修改

   dfs.hosts.exclude
   /data/app/hadoop-2.6.5/etc/hadoop/nodemanager.excludes

三、修改创建退役(下线)节点文件

①.将要下线datanode节点的地址放到datanode.excludes文件中
echo "10.70.19.125" >> /data/app/hadoop-2.6.5/etc/hadoop/datanode.excludes

②将要下线nodemanager节点的地址放到nodemanager.excludes文件中

echo "10.70.19.125" >> /data/app/hadoop-2.6.5/etc/hadoop/nodemanager.excludes

Ps:文件的路径要与hdfs-site.xml与yarn-site.xml中设置的对应起来

 

三、执行退役命令

1.执行datanode下线命令
hdfs dfsadmin -refreshNodes

2.执行nodemanager下线命令
yarn rmadmin -refreshNodes


3.查看下线情况
hdfs dfsadmin -report

yarn node -list

Decomissioning标记的即为正在下线的datanode,hadoop集群会尽快的将要下线的datanode数据块复制到其他节点上

复制完成之后会变成Decommission Status : Decommissioned,此时可以下线此datanode

 

4.下线完成,kill进程,修改salve文件

你可能感兴趣的:(大数据,hadoop)