_服役新节点,退役旧节点,多目录配置。+_HDFS2.x的新特性

服役新的节点

1、首先克隆一个新的虚拟机,里面的hadoop等环境都配好了

之后修改ip通过 root进行登录,在原本好的虚拟机上进行分发操作

 

 

 之后再发java

 

 

 

发环境变量

 

 

 在新的虚拟机上进行:

这是重新运行环境变量

 

 

之后进入hadoop删除data和logs让他变成一个全新的机器

就会发现

_服役新节点,退役旧节点,多目录配置。+_HDFS2.x的新特性_第1张图片

 

 

 datanode会主动Namenode请求。这样服役新的节点就做完了

然后就是退役旧的节点:(一下的名字可以改成whitelist和blacklist)

6.5.1 添加白名单

添加到白名单的主机节点都允许访问NameNode不在白名单的主机节点,都会退出。

配置白名单的具体步骤如下:

1)在NameNode/opt/module/hadoop-2.7.2/etc/hadoop目录创建dfs.hosts文件

[atguigu@hadoop102 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[atguigu@hadoop102 hadoop]$ touch dfs.hosts

[atguigu@hadoop102 hadoop]$ vi dfs.hosts

添加如下主机名称(不添加hadoop105)

hadoop102

hadoop103

hadoop104

2)在NameNodehdfs-site.xml配置文件中增加dfs.hosts属性

dfs.hosts

/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts

(3)配置文件分发

[atguigu@hadoop102 hadoop]$ xsync hdfs-site.xml

(4)刷新NameNode

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes

Refresh nodes successful

(5)更新ResourceManager节点

[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes

17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

(6)在web浏览器上查看

 _服役新节点,退役旧节点,多目录配置。+_HDFS2.x的新特性_第2张图片

 

 

4. 如果数据不均衡,可以用命令实现集群的再平衡

[atguigu@hadoop102 sbin]$ ./start-balancer.sh

starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out

Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

6.5.2 黑名单退役

黑名单上面的主机都会被强制退出。

1.NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录创建dfs.hosts.exclude文件

[atguigu@hadoop102 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[atguigu@hadoop102 hadoop]$ touch dfs.hosts.exclude

[atguigu@hadoop102 hadoop]$ vi dfs.hosts.exclude

添加如下主机名称(要退役的节点)

hadoop105

2.在NameNodehdfs-site.xml配置文件中增加dfs.hosts.exclude属性

dfs.hosts.exclude

      /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude

3.刷新NameNode、刷新ResourceManager

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes

Refresh nodes successful

 

[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes

17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

4. 检查Web浏览器,退役节点的状态为decommission in progress(退役),说明数据节点正在复制块到其他节点,如图3-17所示

 

 

 

3-17  退役中

  1. 等待退役节点状态decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役,如图3-18所示

 

 

 

3-18 已退役

[atguigu@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

stopping datanode

[atguigu@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

stopping nodemanager

6. 如果数据不均衡,可以用命令实现集群的再平衡

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh

starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out

Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

注意不允许白名单和黑名单同时出现同一个主机名称

 HDFS2的新特性:

小文件的归档操作:

_服役新节点,退役旧节点,多目录配置。+_HDFS2.x的新特性_第3张图片

 

 

3.案例实操

1需要启动YARN进程

[atguigu@hadoop102 hadoop-2.7.2]$ start-yarn.sh

2归档文件

把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/user/atguigu/output路径下。

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har –p  /user/atguigu/input   /user/atguigu/output

3)查看归档

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr /user/atguigu/output/input.har

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr har:///user/atguigu/output/input.har

4)解归档文件

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cp har:/// user/atguigu/output/input.har/*    /user/atguigu

 

你可能感兴趣的:(_服役新节点,退役旧节点,多目录配置。+_HDFS2.x的新特性)