Hadoop集群动态增加一个节点

 

Hadoop集群动态增加一个节点

 

现在已经有一个hadoop cluster，并且两个slave节点为hadoop1、hadoop2，现在要动态增加一个新slave节点hadoop3。

 

1、配置新节点的环境

  IP地址、主机名、防火墙、SSH、JDK、Hadoop

 

2、把新节点的hostname配置到主节点的slaves文件中

hadoop0
hadoop1
hadoop2
hadoop3      新节点

3、在新节点，启动进程

            

  bin/hadoop-daemon.sh start datanode
  bin/hadoop-daemon.sh start tasktracker

在主节点执行脚本hadoop dfsadmin –refreshNodes

 

4、查看是否增加成功：

hadoop0的IP为192.168.1.2

 

访问http://192.168.1.2:50070/可以看到"Live Nodes"的数量就从2变成了3

 

也可以通过以下命令行来验证是否成功：

 bin/hadoop dfsadmin –report