Hadoop全分布式搭建

   Hadoop全分布式搭建

STP1

      新建hadoop文件夹【mkdir hadoop】

        说明——【hadoop的安装文件夹】

STP2

      解压hadoop文件【tar -zxf/opt/software/hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/hadoop/】

STP3

      修改hadoop的名称【mv /opt/modules/hadoop-2.5.0-cdh5.3.6//opt/ hadoop

/hadoop-2.5.0】

        说明——【修改名称是为了后面方便管理】

STP4

      修改hadoop的配置文件

        说明——文件路径【/opt/hadoop/hadoop-2.5.0/etc/hadoop】

STP4 - 1

        修改JDK路径

        修改以下文件中JAVA_HOME配置【hadoop-env.sh、mapred-env.sh、yarn-env.sh 】

        修改内容【export JAVA_HOME=/opt/hadoop/jdk1.7.0_67】

       

STP4 - 2

        添加数据节点

        修改以下文件的配置【slaves】

        将【localhost】修改为【

                            huayi1.org

                            huayi2.org

                            huayi3.org

                            】

 

STP4 - 3

        修改配置XML文件

        修改以下文件中XML配置【core-site.xml、hdfs-site.xml、yarn-site.xml 】

        core-site.xml中修改【

                           

                                

                                fs.defaultFS

                                hdfs://huayi1.org:8020

                                

                                

                                hadoop.tmp.dir

                                  /opt/hadoop/hadoop-2.5.0/tmp

                                  

                                  

                            】

        hdfs-site.xml中修改【

                                  

                                  

                                  dfs.replication

                                  3

                                  

                                  

                                  dfs.namenode.http-address

                                  huayi1.org:50070

                                  

                                  

                                  dfs.namenode.secondary.http-address

                                  huayi1.org:50090

                                  

                                  

                            】

        yarn-site.xml中修改【

mapreduce.framework.name

yarn

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

huayi1.org

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

86400

mapreduce.jobhistory.address

huayi1.org:10020

mapreduce.jobhistory.webapp.address

huayi1.org:19888

                            】

STP4 - 4

        创建集群缓存文件路径【mkdir tmp】

        说明——路径【/opt/hadoop/hadoop-2.5.0/】

 

STP5

        复制hadoop到子节点机器【scp -rhadoop-2.5.0/ sang@huayi2.org:/opt/hadoop/】

       说明——路径【/opt/hadoop/】

STP6

      格式化hadoop

       【bin/hadoopnamenode -format】

STP7

     启动hadoop

     【sbin/start-all.sh】