Hadoop3 集群新增DataNode/NodeManager节点

1、集群规划

本文一些基础设置参照之前的Hadoop集群搭建的那篇博客：CentOS7环境下Hadoop3 NameNode ResourceManager HA 集群搭建
现需要新增一台服务器，新集群规划如下：

IP	HostName	用途	安装软件
192.168.100.131	lzjnn1	NameNode1	hadoop
192.168.100.132	lzjnn2	NameNode2	hadoop
192.168.100.141	lzjdn1	DateNode1	hadoop,zookeeper
192.168.100.142	lzjdn2	DateNode2	hadoop,zookeeper
192.168.100.143	lzjdn3	DateNode3	hadoop,zookeeper
192.168.100.144	lzjdn4	DateNode4	hadoop

2、操作系统环境准备

2.1、新服务器的操作系统安装。

这里就不写了。

2.2、原先所有服务器的/etc/hosts文件的修改，增加一行lzjdn4的记录，使内容如下：

192.168.100.131 lzjnn1
192.168.100.132 lzjnn2
192.168.100.141 lzjdn1
192.168.100.142 lzjdn2
192.168.100.143 lzjdn3
192.168.100.144 lzjdn4

lzjdn4服务器上的/etc/hosts内容也保持一致。

2.3、建hadoop用户

参考引用文对应内容

2.4、各服务器间ssh无密码访问

参考引用文对应内容

3、JDK安装配置

参考引用文对应内容

4、Hadoop安装配置

4.1、下载&安装&配置

参考引用文对应内容

4.2、本次新增节点需要的设置：

所有服务器上$HADOOP_HOME/etc/hadoop下workers文件新增lzjdn4的配置：

lzjdn1
lzjdn2
lzjdn3
lzjdn4

4.3、启动新节点上的DataNode和NodeManager

#在新节点上启动datanode
$HADOOP_HOME/bin/hdfs --daemon start datanode

#在新节点上启动nodemanager
$HADOOP_HOME/bin/yarn --daemon start nodemanager

4.4、查看集群状态

#查看hdfs各节点状态
$HADOOP_HOME/bin/hdfs dfsadmin -report

#查看yarn各节点状态
$HADOOP_HOME/bin/yarn node -list