Hadoop3.1.2集群的搭建

1，配置java环境

 下载jdk版本：jdk1.8.0_91

  解压到 /usr/java 目录下

  配置java环境

2，配置hosts文件
命令： cat /etc/hosts
配置如下：

  192.168.1.10  master
  192.168.1.11  slaver
  192.168.1.12  slaver
  192.168.1.13   slaver
  192.168.1.14  slaver

3，关闭防火墙

  查看防火请状态：sudo systemctl status firewalld

  关闭防火墙：sudo systemctl stop firewalld  

4，配置免密登录

  以 192.168.1.10机器为例

  (1)，每台机器上执行  ssh-keygen -t rsa  命令，生成对应的公钥和私钥，      
     文件的目录为：cd /home/user/.ssh

 (2)，使用命令将机器的公钥添加到其他机器上：ssh-copy-id -i id_rsa.pub 192.168.1.10

 (3)，执行ssh  192.168.1.10 命令，如果不需要密码登陆上去，说明配置成功，其他机器类似，因此配置，master → 各slaver1 ，各slaver1 →master，master → master（启动 namenode/secnodary-namenode需要）     

5，配置hadoop核心文件

  master所有的文件都需要配置，salver只需要配置hadoop-env.sh和core-site.xml

  进入hadoop目录下：cd  /home/user/hadoop-3.1.2/etc/hadoop

 (1)   etc/hadoop/hadoop-env.sh (配置java环境变量)

 (2)  etc/hadoop/core-site.xml

  (3)  etc/hadoop/hdfs-site.xml
  配置如下：
     
         
             dfs.name.dir
             /home/user/hadoop-3.1.2/name
             true
         
        
             dfs.data.dir
            /home/user/hadoop-3.1.2/data
             true
        
        
             fs.checkpoint.dir
             /home/user/hadoop-3.1.2/snn
             true
        
        
             fs.checkpoint.edits.dir
             /home/user/hadoop-3.1.2/snn
             true
        
        
             dfs.replication
             4
             true
        
        
             dfs.permissions
             false
        
  

(4)  etc/hadoop/yarn-site.xml

     配置如下：
      
          
               yarn.nodemanager.aux-services
               mapreduce_shuffle
          
          
               yarn.resourcemanager.hostname
               192.168.1.10
          
          
               yarn.nodemanager.auxservices.mapreduce.shuffle.class
               org.apache.hadoop.mapred.ShuffleHandler
          
       
       
(5)  etc/hadoop/mapred-site.xml
     配置如下：
        
            
                 mapreduce.framework.name
                 yarn
            
       
       
(6)  etc/hadoop/workers
       192.168.1.10
       192.168.1.11
       192.168.1.12
       192.168.1.13
       192.168.1.14

6，格式化namenode

  命令：/home/user/hadoop-3.1.2/bin

  进入bin目录下，执行如下命令格式化namenode: ./hadoop namenode -format

7，开启集群

 命令：/home/user/hadoop-3.1.2/sbin
 进入sbin命令下，执行 ./start-all.sh启动hadoop集群，启动后，jps
 master进程：

 各slaver进程：

8，关闭集群

 命令：./stop-all.sh