hadoop2.7.3集群安装配置

       1、前期装备工作

             a、安装虚拟机，分别配置四台centos6.5的虚拟机（这过程可以百度）。

             b、安装好之后配置ssh免密码登陆（问：为何要配置免密登陆？答：因为hadoop各个节点之间要通信，所以要配置免密码                     登陆）

           执行命令生产公钥和密钥:ssh-keygen -t rsa（敲三次回车）

                   

                 该命令会在用户目录下的.ssh生成公钥和密钥，把公钥复制到其其他机器，执行命令：ssh-copy-id ip（ip是目标机器的IP地              址，下次使用ssh ip其他机器的时候就可 以不用输入密码了）。

                  输入目标机器root用户的密码。

            执行成功。ssh ip就不用输入密码了。

       c、安装rzsz（Linux的文件传输工具）

           执行命令yum install -y lrzsz即可安装rzsz工具。

           

       d、安装JDK

             centos默认安装了openJDK，所以要先卸载openJDK。执行命令：rpm -qa | grep java

             再执行：rpm -e --nodeps + (rpm -qa | grep java显示的行，有几行就执行几次)

         上传jdk8的RPM包（执行rz命令，上传jdk8的rpm包），执行rpm -ivh +JDK8的jdk，jdk即安装完毕。执行命令：java  -version，正常显示就安装成功。

  2、安装hadoop

        上传hadoop的安装包（执行rz命令，上传hadoop的安装包） ，解压hadoop的安装包，使用命令tar -xvf +hadoop的安装包。

           

          配置hadoop的配置文件。进入hadoop的目录，在etc/hadoop目录下，是hadoop的配置文件目录。

          

          使用命令vim core-site.xml文件，加入如下的配置：

               //设置namenode所在的位置

                 
                      fs.defaultFS
                     hdfs://192.168.86.129:9000
               

              //设置hadoop的工作目录

               
                      hadoop.tmp.dir
                      /home/hadoop/hdpdata
             

          

     

           执行命令vim hdfs-site.xml，加入如下配置

            //设置存储文件的副本数目

            
                 dfs.replication
                 3
           

           

         先执行命令:mv mapred-site.xml.template  mapred-site.xml（将mapred-site.xml.template名字改为mapred-                                        site.xml）

         再执行命令 vim mapred-site.xml，加入如下配置：

         //设置yarn分配任务
         
               mapruduce.framewor.name
               yarn
         

          

         执行命令vim yarn-site.xml，加入如下命令：

           //设置yarn的老大
         
                yarn.resourcemanager.hostname
                192.168.86.129
         
       //提供服务
         
                yarn.nodemanager.aux-services
                mapreduce_shuffle
         

       配置完毕后，在hadoop目录的bin下面执行：hadoop nanenode -format（初始化namenode的工作目录）

         

          如图所示即表明hadoop安装成功，重复执行以上的步骤，即可安装集群hadoop。