Hadoop-Yarn安装部署

Had oo p Yarn的 安装部署于Hadoop类似，以下以CDH4.5为例说明安装步骤。

三台机器，修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME：

     172.20.4.142 yarn-namenode

     172.20.4.143 yarn-datanode1

     172.20.4.147 yarn-datanode2

1、实现无密码namenode ssh to datanode

      namenode上执行 ssh-keygen -t rsa -P ''产生id_rsa.pub

      cat  id_rsa.pub > authorized_keys

      scp  auth o rized_k ey s  yarn-datanode1:~/.ssh/

       scp  auth o rized_k ey s  yarn-datanode2​:~/.ssh/

2、官网下载hadoop CDH4.5 解压至~/platform/hadoop

3、copy安装目录下的 etc/hadoop中文件至HADOOP_CONF_DIR下订制自己的hadoop配置

      hadoop-env.sh中可配置$JAVA_HOME, $HADOOP_LOG_DIR, $HADOOP_PID_DIR

      yarn-env.sh中可配置$YARN_CONF_DIR, $YARN_LOG_DIR

      配置core-site.xml，主要是fs.defaultFS,指定namenode:

       

                fs.defaultFS

                hdfs://yarn-namenode:8020

       

      配置hdfs-site.xml中namenode和datanode存储数据的目录：

         

                dfs.namenode.name.dir

                /home/jjt/hard_disk/0,/home/pplive/hard_disk/1

         

         

                dfs.datanode.data.dir

                /home/jjt/hard_disk/hdfs

       

      配置mapred-site.xml,可不用配mapred.job.tracker​

          

                 mapreduce.framework.name

                 yarn

         

          

                mapred.local.dir

                /home/jjt/hard_disk/0/mrtmp,/home/jjt/hard_disk/1/mrtmp

         

      配置yarn-site.xml:

          

                yarn.resourcemanager.webapp.address

                yarn-namenode:8088

         

          

                yarn.nodemanager.aux-services

                mapreduce.shuffle

         

         

                yarn.nodemanager.aux-services.mapreduce.shuffle.class

                org.apache.hadoop.mapred.ShuffleHandler

         

          

                yarn.nodemanager.local-dirs

                /home/jjt/data/yarn/1,/home/jjt/data/yarn/2

         

      配置slaves文件：

          yarn-datanode1

          yarn-datanode2

 4、修改集群中/etc/profile保证集群中配置的环境变量相同， 从namenode上scp $HADOOP_HOME $HADOOP_CONF_DIR 到所有其他机器

 5、执行 hadoop namenode -format格式化，start-all.sh启动集群，或分开执行start-dfs.sh start-yarn.sh,使用jps可查看各节点启动的进程

 6、修改本机hosts文件，可通过WEBUI  y arn-namenode:8088​查看任务执行状态

 7、提交测试job执行mapreduce，查看任务是否运行成功，如果出错可提升log4j级别通过log查看具体出差原因。