《Yarn的使用教程》--- 大数据系列

一、Yarn简介：

YARN主要是将资源管理和作业监控拆分成了两个独立的服务：
1. ApplicationMaster:每个应用程序特有的，负责单个应用程序的管理。
2. ResourceManager:一个全局的资源管理器，负责整个系统的资源管理和分配。

Yarn原理图

上图解析：ResourceManager和NodeManager设计源自于数据计算框架。ResourceManager主要负责资源调度，而NodeManager是监控每一个台客户机器的cpu，内存，硬盘和网络状况，同时汇报给ResourceManager。

主要概念介绍完了，如果想看更多可移步官网

二、Yarn的安装和使用

前提：Hadoop已经安装完成，可参考安装教程

进入hadoop根目录，然后配置，基本上是MapReduce和yarn之间连接的配置：

vi   etc/hadoop/mapred-site.xml

填入下面的配置：

    
        mapreduce.framework.name
        yarn
    

接着

vi   etc/hadoop/yarn-site.xml

填入下面的配置：

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

启动

$ sbin/start-yarn.sh

验证

http://localhost:8088/

停止

 $ sbin/stop-yarn.sh

提交一个MapReduce作业命令：

hadoop jar /root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar

到此Yarn搭建完成了。

最后欢迎各位关注我的公众号

ZeroStory