Hadoop安装配置复习

一:安装虚拟机(虚拟机需要3台),准备Hadoop与JDK

二:修改所有虚拟机IP地址以及子网掩码,修改完成之后,重启网卡service network restart ,主服务于子节点都需要修改

三:使用root登录修改主机名(master,slave1, slave2...)

四:打开/etc下的hosts文件 修改为各子节点的IP以及对应名称

hosts.png

五:配置ssh免秘钥

  1.  进入根目录,输入:ssh-keygen -t rsa

  2.  一路回车

  3.  去ssh目录下检查秘钥文件id_rsa.pub是否生成

miyao.png

  4.  同样的步骤,重复操作另外两台虚拟机

  5.  三个节点秘钥都生成之后,使用命令将另外两台的秘钥拷贝到master节点的ssh目录下,输入命令
    *   scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub1
    *   scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub2

  6.  执行完成之后,去master节点下查看/root/.ssh目录下一共有三个秘钥文件

秘钥11.png

  7.  将三个秘钥文件合并成一个文件 authorized_keys 执行以下命令
   *    cat id_rsa.pub id_rsa.pub1 id_rsa.pub2>authorized_keys

  8.执行完成之后,查看  authorized_keys 中的内容  vim authorized_keys

key.png

  9.  将 authorized_keys 拷贝到另外两台子节点的/root/.ssh/目录下,执行命令
     *    scp /root/.ssh/authorized_keys slave1:/root/.ssh/authorized_keys
     *    scp /root/.ssh/authorized_keys slave2:/root/.ssh/authorized_keys

 10.至此,ssh免秘钥配置完成,可以通过ssh+节点名进行测试,执行名ssh slave1 

wancheng.png

 11.将Hadoop与JDK的的压缩文件(我分别创建了jdk与hadoop的根目录)放入Linux系统后,在给目录执行解压缩命令 tar -zxvf 压缩文件名

 12.配置Hadoop与jdk的环境变量
    *   打开/etc下的profile文件,添加如下配置

peizhi.png

* 配置文件生成之后,立即生效
source profile
测试是否配置成功(会出现安装的版本号)，执行命令：
java –version
hadoop version

六:配置Hadoop的相关文件

       进入Hadoop的根目录,进入etc/hadoop文件夹分别编辑
        hadoop-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

         1> hadoop-env.sh
                配置java环境变量

jdk.png

         2>slaves

slaves.png

         3> core-site.xml(注意：file:/后面的路径，是hadoop的根目录，下面的配置文件同理，不要照抄)

                
                           
                                     fs.defaultFS
                                     hdfs://master:9000
                             
                             
                                      hadoop.tmp.dir
                                      file:/usr/hadoop/hadoop-2.6.0/tmp
                                      Abase for other temporary directories.
                              
                   

           4> hdfs-site.xml

                   
                             
                                     dfs.namenode.secondary.http-address
                                     master:50090
                             
                             
                                     dfs.replication
                                     2
                             
                              主节点:master
                             
                                     dfs.namenode.name.dir
                                     file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/name
                             
                             子节点:slave1;slave2
                             
                                     dfs.datanode.data.dir
                                     file:/usr/hadoop/hadoop-2.6.0/tmp/dfs/data
                             
                    

               5>mapred-site.xml

                    
                                 
                                         mapreduce.framework.name
                                         yarn
                                 
                                 
                                         mapreduce.jobhistory.address
                                         master:10020
                               
                               
                                       mapreduce.jobhistory.webapp.address
                                       master:19888
                             
                      

                6>yarn-site.xml

                       
                              
                              
                                       yarn.resourcemanager.hostname
                                       master
                             
                             
                                     yarn.nodemanager.aux-services
                                     mapreduce_shuffle
                           
                       

                7>关闭防火墙

                8>格式化HDFS
                     (bin/hadoop namenode -format )
                     注意：该命令只能执行一次，切记不要多次执行

                9>开启服务器,sbin/start-all.sh

                10>测试各节点启动进程，执行命令：

                       /usr/java/jdk1.8.0_151/bin/jps

(主)

ceshi1.png

(子节点)

ceshi2.png