Hadoop集群搭建

1、集群简介

       HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

       HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode

       YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

2、集群规划

       Benz   nn   dn     nm   snn   rm 

       Audi           dn     nm

       BMW         dn     nm

      说明：

         nn:namenode

         dn:datanode

         nm:nodemanager

         snn:secondary namenode

         rm:resourcemanager

3、集群搭建详解

3.1、网络配置

    A.各个机器处于同一个网段，以构成一个局域网，同时还应该配置主机名/IP映射，以便于后期使用

    B.配置ssh免密登录

          ssh-keygen 

          ssh-copy-id hostname

          可以编写shell脚本进行免密登录配置

    C.配置防火墙

          此处直接把防火墙关闭

          service iptables stop

          chkconfig iptables off

3.2、jdk环境搭建

       下载jdk安装包然后进行解压，配置环境变量

3.3、Hadoop安装

       1.在官网上下载hadoop安装包，然后进行解压

       2.配置hadoop的环境变量

       3.修改配置文件：$HADOOP_HOME/etc/hadoop/

       配置文件:hadoop-env.sh

           export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51 （指定jdk安装目录） 

       配置文件：core-site.xml

     

     

          fs.defaultFS

         hdfs://Benz:9000

     

     

     

          hadoop.tmp.dir

         /root/hadoop/tmp

   

       配置文件：hdfs-site.xml

     

   

         dfs.replication

        3

   

    

         dfs.secondary.http.address

         192.168.205.9:50090

   

       配置文件：mapred-site.xml

          mv mapred-site.xml.template mapred-site.xml

          vim mapred-site.xml

         

         

              mapreduce.framework.name

              yarn

         

       配置文件：yarn-site.xml

       

       

            yarn.resourcemanager.hostname

            Benz

     

     

     

          yarn.nodemanager.aux-services

          mapreduce_shuffle

    

       配置文件：salves（此文件将集群的所有机器写到其中）

           Benz

           Audi

           BMW

  将配置文件传到其他集群中的机器对应目录上

3.4、启动集群

       1.格式化namenode

             hdfs namenode -format (hadoop namenode -format)

       2.启动HDFS（先启动）

             start-dfs.sh

       3.启动YARN（后启动）

             start-yarn.sh

       可以通过hadoop-daemon.sh start/stop namenode/datanode...

     进行单个节点的启动和关闭

     说明：此处的集群不是HA模式的集群