Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程

Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程

  前面的文章已经对MR和Yarn做了基本介绍，本文主要介绍MR和Yarn的安装部署流程

1、角色划分

  NodeManager和DataNode一般都是1:1，主要是为了计算向数据移动，如果NM和DN分开，就得用网路拷贝数据，在Yarn的体系里NM也是从节点，既然其和DN是1:1的关系，所以配置中和HDFS共用一个slaves文件

	NN	JN	DN	ZKFC	ZK	RM	NM
hdp001	*	*		*	*
hdp002	*	*	*	*	*		*
hdp003		*	*		*	*	*
hdp004			*		*	*	*

2、单节点部署

2-1 修改mapred-site.xml

  <property>
          <name>mapreduce.framework.namename>
          <value>yarnvalue>
  property>

2-2 修改yarn-site.xml

    <property>
           <name>yarn.nodemanager.aux-servicesname>
           <value>mapreduce_shufflevalue>
    property>

2-3 start-yarn.sh

3、HA模式部署

3-1 修改mapred-site.xml【和单机版一样】

3-2 修改yarn-site.xml【在单机版之上添加】

   <property>
     <name>yarn.resourcemanager.ha.enabledname>
     <value>truevalue>
   property>
   <property>
     <name>hadoop.zk.addressname>
     <value>hdp001:2181,hdp002:2181,hdp003:2181,hdp004:2181value>
   property>

   <property>
     <name>yarn.resourcemanager.cluster-idname>
     <value>yarn-clustervalue>
   property>
   <property>
     <name>yarn.resourcemanager.ha.rm-idsname>
     <value>rm1,rm2value>
   property>
   <property>
     <name>yarn.resourcemanager.hostname.rm1name>
     <value>hdp003value>
   property>
   <property>
     <name>yarn.resourcemanager.hostname.rm2name>
     <value>hdp004value>
   property>
   <property>
     <name>yarn.resourcemanager.webapp.address.rm1name>
     <value>hdp003:8101value>
   property>
   <property>
     <name>yarn.resourcemanager.webapp.address.rm2name>
     <value>hdp004:8101value>
   property>

3-3 启动

• 1)、 拷贝配置文件到其他节点 scp -r 源目录 目标机username@目标机host:目标机路径【可用pwd】
• 2)、 运行start-yarn.sh
• 3)、 在Yarn主节点03和04执行 yarn-daemon.sh start resourcemanager【如果在01启动，在读取配置文件时程序发现01不能启动RM，进程会退出】
• 4)、 HA测试，不测了。。。。

3-4 测试一下wc程序【文件自己准备，并上传到hdfs】

• 1)、 到安装目录的/share/hadoop/mapreduce就有样例程序
• 2)、运行命令 hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount word.txt word_cout.txt

4、启动历史记录服务

4-1 修改mapred-site.xml【新增】

  <property>
       <name>mapred.job.history.server.embeddedname>
       <value>truevalue>
  property>
  <property>
       <name>mapreduce.jobhistory.addressname>
       <value>node03:10020value>
  property>
  <property>
       <name>mapreduce.jobhistory.webapp.addressname>
       <value>node03:50060value>
  property>
  <property>
       <name>mapreduce.jobhistory.intermediate-done-dirname>
       <value>/work/mr_his_tmpvalue>
  property>
  <property>
       <name>mapreduce.jobhistory.done-dirname>
       <value>/work/mr_his_donevalue>
  property>

4-2 在sbin下启动历史记录服务 mr-jobhistory-daemon.sh start historyserver