大数据_YARN的工作原理
目录
一、YARN产生的背景
二、YARN的设计思想
三、YARN的基本架构
四、YARN的工作流程
一、YARN产生的背景
YARN是从MRv1（hadoop1.0时代）进化到MRv2（hadoop2.0时代）过程中，解决了扩展性差、可靠性差以及资源利用率低等问题应运而生的。下面是MRv1和MRv2的介绍。
MRv1
1、编程模型：Map阶段和Reduce阶段
2、数据处理引擎：MapTask和ReduceTask
3、运行时环境：JobTracker（资源管理和作业控制）和TaskTracker（接受具体命令并具体执行）
4、mRv1的局限性：
• 扩展性差（ JobTracker兼具资源管理及作业调度， 容易负载过大）
• 可靠性差（ Master/Slave架构中， Master的单点故障）
• 资源利用率低（ Slot资源分配模型）
• 无法支持多种计算平台
MRv2
1、编程模型，数据、处理引擎，与MRv1是一样的
2、唯一不同的是运行时环境。MRv2是运行于YARN之上的MapReduce计算框架·
3、YARN（资管理与调度）和ApplicationMaster（作业控制)。
YARN
支持多中计算框架的资源管理器
• 资源利用率高
• 运维成本低
• 数据共享
二、YARN的设计思想
MRv1和MRv2的框架对比图
MRv1和MRv2的编程模型对比
1、编程模型（ MapReduce应用程序的两套编程接口： 新API(mapred) 和旧API(mapreduce)）
2、向后兼容问题： 采用MRv1的旧API写的APP， 可以直接使用之前的 Jar包运行于MRv2上， 但采用MRv1； 但采用MRv1的新API写的APP， 不可以如此， 需要使用MRv2编程库重新编译并修改不兼容的参数和 返回值。
MRv1和MRv2的运行环境对比
• JobTracker： 资源和任务的管理和调度
• TaskTracker： 单个节点的资源管理和任务执行
• YARN： 资源管理和调度
• ApplicationMaster： 具体应用程序相关的任务切分、 任务调度和容错等。
三、YARN的基本架构
A、YARN的基本组成结构
ResourceManager：全局的资源管理器，负责整个集群的资源管理、分配与调度。
Scheduler(调度器)，纯调度器，默认下是FairScheduler
NodeManager:对每一个slave上的资源和任务做管理
1、定时的向RM汇报HeartBeat（资源的使用情况和Container的运行状态）
2、接受来自AM的启动/停止的请求
Container:资源分配单位(MRv1中slot),动态分配。
ApplicationMaster:每个APP都会包含一个AM,AM的功能包括：
1、向RM申请资源（用Container）
2、将任务做进一步的分配
3、与NM通信启动/停止任务
4、跟踪每一个Task的运行状态（包括Failed后的操作）
B、YARN的通信协议
1、Client与RM通信的协议，ApplicationClientProtocol，作业的提交，应用程序的状态等。
2、AM与RM通信协议，ApplicationMasterProtocol,向RM注册AM,申请资源。
3、AM与NM通信协议，ContainerManagementProtocol,启动/停止Container。
4、RM与NM通信协议，ResourceTracker，汇报slave节点的资源信息包括Container的状态（运行状况）
四、YARN的工作流程
下图的数字表示了YARN的从client提交任务，到申请资源，到创建task，以及task完成后返回结果RM的处理流程。
