Hadoop生态之HDFS动态扩容(四)

当HDFS现有集群不能够满足业务需求的时候,需要在不影响现有HDFS集群运行的情况下,动态扩容现有HDFS集群。

操作步骤:

1> 安装一台CentOS Linux服务器

2> 修改计算机名称

命令:vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop1
GATEWAY=192.168.248.1

3> 设置IP修改网络配置

命令:vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:E6:CF:B7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="5cd683f8-d674-46e1-9df7-db3e21fb76c8"
IPADDR="192.168.248.100"
GATEWAY="192.168.248.1"
DNS1="255.255.255.0"

4> 配置待扩容机器上的域名映射 

命令:vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.248.100 hadoop
192.168.248.101 hadoop1
192.168.248.102 hadoop2

192.168.248.103 hadoop3

5> 彻底关闭防火墙

命令:chkconfig  iptables  off

6> 重启网络服务

 命令:service  network restart

7> 重启电脑

 命令:reboot

8> 修改计算机域名映射

先修改namenode机器上的域名映射,将新加节点添加进去。

命令:vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.248.100 hadoop
192.168.248.101 hadoop1
192.168.248.102 hadoop2

192.168.248.103 hadoop3

拷贝这个文件到现有的datanode各节点:

命令:scp -r /etc/hosts hadoop1:$PWD

命令:scp -r /etc/hosts hadoop2:$PWD

命令:scp -r /etc/hosts hadoop3:$PWD

9> 修改namenode机器上的 slaves 文件(以后集群重启时,能够识别到新扩节点)

命令:vi /opt/mysoft/hadoop/etc/hadoop/slaves

hadoop
hadoop1
hadoop2
hadoop3

把修改后的slaves文件复制到其他节点计算机上

命令: scp -r /opt/mysoft/hadoop/etc/hadoop/slaves hadoop1:/opt/mysoft/hadoop/etc/hadoop/
命令: scp -r /opt/mysoft/hadoop/etc/hadoop/slaves hadoop2:/opt/mysoft/hadoop/etc/hadoop/
命令: scp -r /opt/mysoft/hadoop/etc/hadoop/slaves hadoop3:/opt/mysoft/hadoop/etc/hadoop/

10> 添加namenode节点与新加节点之间的免密SSH登录

先在待扩容机器生成密钥

命令:ssh-keygen   -t  rsa  一路敲回车

查看生成的文件:

命令:cd  /root/.ssh

命令:cat id_rsa.pub  >>authorized_keys  拷贝本地公钥到生成的公钥文件集中。

验证:ssh  localhost   和 ssh hadoop3

 在namenode机器上将公钥拷贝到待扩容机器的公钥文件集中,实现namenode到datanode的免SSH登陆 

在namenode机器上执行:

命令:ssh-copy-id -i hadoop3

在namenode机器上操作:

ssh   hadoop3   //初次要输入密码,后续免密

 在datanode机器上将公钥拷贝到namenode的公钥文件集中,实待扩容机器datanode到namenode的免SSH登陆 

在待扩容机器上执行

命令:ssh-copy-id -i hadoop

在待扩容机器上验证到namenode机器的免ssh登陆

ssh  hadoop  //初次要输入密码,后续免密

11> 拷贝namenode上的JDK,hadoop包,profiles等到待扩容机器上

命令:scp -r jdk hadoop3:$PWD

命令:scp -r hadoop hadoop3:$PWD

命令:scp /etc/profile hadoop3:$PWD

 

在hadoop3机器上执行如下操作使设置生效:

命令:source /etc/profile

进入在hadoop3待扩容机器,进行如下操作,删除原有的日志和临时文件:

命令:rm  –rf  logs/*

命令:rm  -rf   tmp/*

12> 在运行着的HDFS集群中,在扩容机器上直接启动datanode进程

命令:hadoop-daemon.sh start datanode

13> 检验动态扩容是否成功

webUI访问:http://192.168.248.100:50070/dfshealth.html#tab-datanode

14> 通过集群的方式关闭重启服务

命令:stop-all.sh

命令:start-all.sh

 

你可能感兴趣的:(思普大数据技术,HDFS动态扩容,hadoop,hdfs)