3 个节点的 Hadoop 3.x 安装配置【已测试】

准备机器信息：

192.168.1.110 master
192.168.1.120 worker120
192.168.1.121 worker121  # hadoop 3 使用 worker文件 而不是 slave文件 记录数据节点

---

环境准备步骤：

第一步：配置机器免密，这一步教程很多，不赘述。

第二步：这 3 个机器 设置 /etc/hosts 文件增加如下值，注意 ip对应的host不要重复：

 

192.168.1.110 master
192.168.1.120 worker120
192.168.1.121 worker121

 第三步：安装 Java 并配置 环境变量

---

配置Hadoop 3 的各个配置文件： 

说明在 master 机器上配置好如下文件后，将 安装包拷贝至各个机器上，需要配置的文件列表如下：

hadoop-3.2.0/etc/hadoop/core-site.xml
hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hadoop-3.2.0/etc/hadoop/mapred-site.xml
hadoop-3.2.0/etc/hadoop/yarn-site.xml
hadoop-3.2.0/etc/hadoop/worker # 注意，要用 worker 而不是 slave 文件

 

    
    
        fs.defaultFS
        hdfs://master:9000
    

    
    
	    hadoop.tmp.dir
        /home/chudu/hdfs 
    
    

 

 

    
    
    
            dfs.replication
            2
    

    
    
           dfs.namenode.http-address
           master:50070
    

    
    
          dfs.namenode.name.dir
          /home/chudu/hdfs/name
    
    
    
    
          dfs.datanode.data.dir
          /home/chudu/hdfs/data
    
   
    
          dfs.namenode.datanode.registration.ip-hostname-check
          false
    

    
    
	      dfs.datanode.hostname
	      master
    

 

    
    
            mapreduce.framework.name
            yarn
    

    
    
            yarn.resourcemanager.hostname
            master
    

    
            yarn.nodemanager.aux-services
            mapreduce_shuffle
    

 

#  worker 文件中的 datanode 节点 配置，请勿拷贝本行
worker120
worker121

#格式化集群
./hadoop-3.2.0/bin/hdfs dfsadmin -format

# 在 master ( 192.168.1.110 ) 上启动集群
./hadoop-3.2.0/sbin/start-all.sh

# 集群信息报告
./hadoop-3.2.0/bin/hdfs dfsadmin -report

上面配置完成后，访问地址：http://192.168.1.110:9870 即可进入管理页:

 

 

---

不停机增加节点

参考上述说明，配置好datanode节点。然后：

# 启动  datanode
./hadoop-3.2.0/sbin/hadoop-daemon.sh start datanode

# 启动 nodemanager 
./hadoop-3.2.0/sbin/yarn-daemon.sh start nodemanager


# 然后到 Name node 机器刷新节点配置
./hadoop-3.2.0/bin/hdfs dfsadmin -refreshNodes

# 数据 均衡处理
./hadoop-3.2.0/sbin/start-balancer.sh