hadoop平台之——下架节点服务器

# 原创作品,转载请注明出处,谢谢!@杨福星

(http://blog.csdn.net/luckystar92/article/details/51935197)


一、背景

  • hadoop版本为hadoop2.6;
  • 系统centos6.5;
  • 集群数:十台服务器(一个master,九个slave);

二、目标

1、 动态下架4台节点服务器,而不选择直接暴力下架,是因为动态下架可让被下架节点数据可迁移;


三、步骤

1、准备工作:分别在hdfs-site.xml与core-site.xml文件里(这两个文件位于/usr/local/hadoop/etc/hadoop/内)添加如下内容:


  • dfs.hosts.exclude
    /usr/local/hadoop/conf/excludes
如下图:hadoop平台之——下架节点服务器_第1张图片

2、在/usr/local/hadoop/conf/excludes文件(这个要新建)里填写需要下架的节点名或者IP,一行一条:如图

hadoop平台之——下架节点服务器_第2张图片

3、接着运行hdfs dfsadmin -refreshNodes 来让namenode重启读取配置文件

4、最后查看要下架机器的实时状态hdfs dfsadmin -report;一开始会出现一直在Decommission in progress,这是因为正在迁移数据;我们也可以在浏览器http://master:50070里查看实时迁移状态;等到迁移完毕,查看hdfs dfsadmin -report会显示Decommissionedhadoop平台之——下架节点服务器_第3张图片hadoop平台之——下架节点服务器_第4张图片

5、停掉datanode:stop-all.sh

6、最后修改Slave文件里的从节点,接着可删除excludes文件里的内容

7、接着重启start-all.sh

8、最后去已下架的节点上看jps,若还有 TaskTracker 进程 ,则杀掉(直接kill对应的pid)。

9、最后可在浏览器http://master:50070里查看hdfs状态


#、结束语

*阿星的博客(http://blog.csdn.net/luckystar92)

*此笔记谨供情况相似者参考!

*欢迎交流学习!博主知识浅薄,希望有不对的地方能得到您的指正!谢谢!^_^

**转载请注明出处,谢谢!!!

你可能感兴趣的:(Hadoop,安装配置与维护)