分布式资源调度框架YARN

1、

目录：

YARN产生背景（下图为MapReduce1.x的架构）：
（1）

（2）

（3）

（4）总结：

YARN概述：

YARN架构（重点）：
参考：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/hadoop-yarn/hadoop-yarn-site/YARN.html

YARN执行流程：

每个数字标明的都是一个具体的流程，要可以表述出来。

YARN环境搭配：

参考：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/hadoop-project-dist/hadoop-common/SingleCluster.html

注意：这里参考的只是YARN on Single Node的环境搭建
步骤概述：

具体步骤：
（1）先修改mapred-site.xml（在/root/app/hadoop-2.6.0-cdh5.14.0/etc/hadoop下），但由于开始时不存在该文件，只有mapred-site.xml.template文件，所以先复制一份mapred-site.xml.template并改名为mapred-site.xml：

现在可以开始修改mapred-site.xml：

（2）修改yarn-site.xml：

（3）启动yarn：
先看看hdfs启动了没有：

然后来到sbin目录下启动yarn：

./start-yarn.sh

然后再用jps命令检查一下是否启动成功：

（4）验证
除了jps外，还可以在本地浏览器上输入hadoop主机ip加8088端口：http://192.168.197.129:8088

（5）yarn启动了之后可以运行mapreduce job
（6）最后可以停掉yarn

MapReduce作业提交到YARN上运行：
我们可以使用官方提供的example jar包（/root/app/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar）运行一个MapReduce的example提交到YARN上运行：

可以使用官方提供的hadoop jar命令直接运行该jar包：

我们使用里面的pi程序作为example计算：

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 2 3

在刚刚的浏览器页面可以看到该作业：

运行结果可以在shell看到：