初识大数据（3）-YARN，单节点部署

## YARN架构包含的元素：

yarn_architecture.gif

• ResourceManager:RM

  （1）整个集群同一个时间提供服务的只有一个RM,负责集群的资源统一调度和管理。

  （2）处理客户端的请求：提交一个作业，杀死一个作业

  （3）监控我们的NM.

• NodeManager:NM

  （1）集群中有多个nm，负责自身节点的资源管理和使用

  （2）定时向RM汇报本节点的是使用情况。

  （3）接收来自rm的各种命令，如启动Container

• ApplicationMaster: AM

  （1）每个应用程序对应一个AM：MR ,Spark ,负责应用程序的管理。

  （2）为每个应用程序向RM申请资源，分配给内部的Task,

  （3）需要与NM通信，启动/停止Task，AM也运行在Container里面。

• Container：

  （1）封装了cpu，memory的容器，程序都是在此容器内部进行。

  （2）也就是说其实是一个运行任务的环境的抽象。

• client：

  （1）提交作业
  （2）查看任务的进度
  （3）杀死作业

官方网站地址

### ## 直接如何配置单个节点的yarn。。。

屏幕快照 2019-02-25 下午10.01.59.png

本身的hdfs安装路径：/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0

YARN on a Single Node(单节点的配置)

跟随下面四步骤即可：

一. Configure parameters as follows

1.etc/hadoop/mapred-site.xml



    
        mapreduce.framework.name
        yarn
    

2.etc/hadoop/yarn-site.xml:


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

以上是2个需要配置的文件。

二.接下来可以启动了。

$ sbin/start-yarn.sh

三. 验证

1）jps的方式：

 NodeManager
 ResourceManager

2）网页查看的方式：

 http://localhost（地址）:8088/
 如果是阿里云记得8088加入安全组。

四. 此时见可以执行maoreduce的任务了，可以先用官方提供的例子测试一下。

我们到 
/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce 
这个路径下找到包含执行程序的jar包

jarName:hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 

用hadoop jar 命令

此处比如计算pi的值

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar  pi 3 4

上述执行结果会得到pi的值。

五.关闭 yarn

$ sbin/stop-yarn.sh