基于Hive的hadoop集群搭建详细解说

一：基于linux配置集群3台的操作要点

      0.配置集群前，首先要讲集群的配置图准备好

         hadoop102                     haooop103                          hadoop104
          namenode                        /                                 /
          datanode                     datanode                              datanode
          nodemanager                 nodemanager                          nodemanager (不用手动配置)
              /                        resourcemanager                        /    
           jobhistory                         /                               / 
             /                              /                               secodarynamenode 

     1. 检查Linux配置 ，linux要没有问题

        1、防火墙关闭

        2、/etc/hosts的IP映射

        3、/etc/hostname 主机名

        4、ntp时间服务器

        5、网卡信息配置

 

     2.在linux上安装jdk，并且配置jdk系统环境变量

              vi/etc/profile   添加如下

             JAVA_HOME=/opt/modules/jdk......(jdk的安装路径)

             PATH=$PATH:$JAVA_HOME/bin

           最后用：source /etc/profile   让配置文件生效 ，用java -version 判断是否配置好jdk

 

     3.在 linux上配置hadoop(具体流程参考前面博客搭建hadoop集群)

         1.   vi /etc/profile 给hadoop配置系统环境变量

    export HADOOP_HOME=/opt/module/hadoop-2.7.2

    export PATH=$PATH:$HADOOP_HOME/bin

                export PATH=$PATH:$HADOOP_HOME/sbin  

     2.修改hadoop-env.sh文件中JAVA_HOME路径：给hadoop配置jdk环境变量。

                 这个文件是在handop下的etc下的hadoop文件里

                 export JAVA_HOME=/opt/module/jdk1.7.0_79

       4.配置hadoop文件：共有8个---3个模块的环境变量和3个模块的xxx-site.xml以及一个core-site.xml文件和slaves

   1.分别给下面三个添加jdk环境变量，因为其运行依赖jdk :export JAVA_HOME= .....................
            hadoop.env.sh
            yarn-env.sh
            mapred-env.sh

        2.core-site.xml
            
                
                  
                    fs.defaultFS
                    hdfs:/hadoop102:8020  
                
                  
                
                    hadoop.tmp.dir
                    /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/data
                
            

         3. hdfs-site.xml
            
                
                
                    dfs.replication
                    3
                

                
                
                    dfs.namenode.secondary.http-address
                    hadoop104:50090
                

                     
                
                    dfs.namenode.http-address
                    hadoop102:50070
                

                      
                
                    dfs.webhdfs.enabled
                    true
                
            

        4.yarn-site.xml
            

                
                
                    yarn.nodemanager.aux-services
                    mapreduce_shuffle
                

                     
                
                    yarn.resourcemanager.hostname
                    hadoo103.com
                

                 
                
                    yarn.log-aggregation-enable
                    true
                

                          
                
                    yarn.log-aggregation.retain-seconds
                    86400
                

                
                
                    yarn.log.server.url
                    http://hadoop103:19888/jobhistory/logs/
                
            

         5. mapred-site.xml
            
                    
                
                    mapreduce.framework.name
                    yarn
                

                         
                
                    mapreduce.jobhistory.adress
                    hadoop102:10020
                

                          
                
                    mapreduce.jobhistory.webapp.adress
                    hadoop102:19888
                

            
         6. slaves  :这个是配置datanode所在结点的。
            hadoop101
            hadoop102
            hadoop103

 

二：集群启动与测试

   1.启动namenode ，首次启动要格式化namenode 

           hdfs namenode -format

           start-dfs.sh   

1. 启动yarn,要到 yarn所在结点启动   start-yarn.sh

    3.启动mapreduce日志mr-jobhistory-daemon.sh start historyserver'  

     4.分别启动时用jps测试。或者用浏览器查看 。

   这是简略版本，具体参考我的别的博客关于集群搭建的详细版本。