Yarn技术原理
Yarn的基本介绍
Yarn基本定义：
Apache Hadoop YARN（Yet Another Resource Negotiator,另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来的巨大的好处。
YARN在产品中的位置：
YARN是Hadoop2.0中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序提供资源管理和调度功能。
Yarn是轻量级弹性计算平台，除了MapReduce框架，还可以支持其他框架，如Spark、Storm等。
多种框架统一管理，共享集群资源的优点：
- 资源利用率高
- 运维成本低
- 数据共享方便
YARN的设计思路：
YARN的设计是为了解决MapReduce1.0中的一些缺陷。
- 存在单点故障。
- JobTracker“大包大揽”导致任务过重（任务多时内存开销大，上限4000节点）。
- 容易出现内存溢出（分配资源只考虑MapReduce任务数，不考虑CPU、内存）。
- 资源划分不合理（强制划分为slot ，包括Map slot和Reduce slot）。
Yarn架构思路：
Yarn的组件架构
Yarn的组件架构：
三大组件的主要功能介绍：
（1）ResourceManager：
- 处理客户端请求
- 启动/监控ApplicationMaster
- 监控NodeManager
- 资源分配与调度
（2）ApplicationMaster：
- 为应用程序申请资源，并分配给内部任务
- 任务调度、监控与容错
（3）NodeManager：
- 单个节点上的资源管理
- 处理来自ResourceManger的命令
- 处理来自ApplicationMaster的命令
ResourceManager：
ResourceManager（RM）是一个全局的资源管理器，负责整个系统的资源管理和分配，主要包括两个组件，即调度器（Scheduler）和应用程序管理器（Applications Manager）。
调度器接收来自ApplicationMaster的应用程序资源请求，把集群中的资源以“容器”的形式分配给提出申请的应用程序，容器的选择通常会考虑应用程序所要处理的数据的位置，进行就近选择，从而实现“计算向数据靠拢”。
容器（Container）作为动态资源分配单位，每个容器中都封装了一定数量的CPU、内存、磁盘等资源，从而限定每个应用程序可以使用的资源量。
调度器被设计成是一个可插拔的组件，YARN不仅自身提供了许多种直接可用的调度器，也允许用户根据自己的需求重新设计调度器。
应用程序管理器（Applications Manager）负责系统中所有应用程序的管理工作，主要包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动等。
ApplicationMaster：
ResourceManager接收用户提交的作业，按照作业的上下文信息以及从NodeManager收集来的容器状态信息，启动调度过程，为用户作业启动一个ApplicationMaster。
ApplicationMaster的主要功能是：
（1）当用户作业提交时，ApplicationMaster与ResourceManager协商获取资源，ResourceManager会以容器的形式为ApplicationMaster分配资源；
（2）把获得的资源进一步分配给内部的各个任务（Map任务或Reduce任务），实现资源的“二次分配”；
（3）与NodeManager保持交互通信进行应用程序的启动、运行、监控和停止，监控申请到的资源的使用情况，对所有任务的执行进度和状态进行监控，并在任务发生失败时执行失败恢复（即重新申请资源重启任务）；
（4）定时向ResourceManager发送“心跳”消息，报告资源的使用情况和应用的进度信息；
（5）当作业完成时，ApplicationMaster向ResourceManager注销容器，执行周期完成。
NodeManager：
NodeManager是驻留在一个YARN集群中的每个节点上的代理，主要负责：
- 容器生命周期管理。
- 监控每个容器的资源（CPU、内存等）使用情况。
- 跟踪节点健康状况。
- 以“心跳”的方式与ResourceManager保持通信。
- 向ResourceManager汇报作业的资源使用情况和每个容器的运行状态。
- 接收来自ApplicationMaster的启动/停止容器的各种请求 。
需要说明的是，NodeManager主要负责管理抽象的容器，只处理与容器相关的事情，而不具体负责每个任务（Map任务或Reduce任务）自身状态的管理，因为这些管理工作是由ApplicationMaster完成的，ApplicationMaster会通过不断与NodeManager通信来掌握各个任务的执行状态。
YARN的部署：
在集群部署方面，YARN的各个组件是和Hadoop集群中的其他组件进行统一部署的.
Yarn的工作流程：
Yarn的工作流程如下：
- 用户编写客户端应用程序，向YARN提交应用程序，提交的内容包括ApplicationMaster程序，启动ApplicationMaster的命令、用户程序等。
- YARN中的ResourceManager负责接收和处理来自客户端的请求，为应用程序分配一个容器，在该容器中启动一个ApplicationMaster。
- ApplicationMaster被创建后会首先向ResourceManager注册。
- ApplicationMaster采用轮询的方式向ResourceManager申请资源。
- ResourceManager以“容器”的形式向提出申请的ApplicationMaster分配资源。
- 在容器中启动任务（运行环境、脚本）。
- 各个任务向ApplicationMaster汇报自己的状态和进度。
- 应用程序运行完成后，ApplicationMaster向ResourceManager的应用程序管理器注销并关闭自己。
Yarn框架与MapReduce1.0框架的对比分析
从MapReduce1.0框架发展到YARN框架，客户端并没有发生变化，其大部分调用API及接口都保持兼容，因此，原来针对Hadoop1.0开发的代码不用做大的改动，就可以直接放到Hadoop2.0平台上运行。
总体而言，YARN相对于MapReduce1.0来说具有以下优势：
-
大大减少了承担中心服务功能的ResourceManager的资源消耗。
ApplicationMaster来完成需要大量资源消耗的任务调度和监控。
多个作业对应多个ApplicationMaster，实现了监控分布化。
-
MapReduce1.0既是一个计算框架，又是一个资源管理调度框架，但是，只能支持MapReduce编程模型。而YARN则是一个纯粹的资源调度管理框架，在它上面可以运行包括MapReduce在内的不同类型的计算框架，只要编程实现相应的ApplicationMaster。
-
YARN中的资源管理比MapReduce1.0更加高效。
以容器为单位，而不是以slot为单位。
Yarn的发展目标：
YARN的目标就是实现“一个集群多个框架”。
一个企业当中同时存在各种不同的业务应用场景，需要采用不同的计算框架。
- MapReduce实现离线批处理
- 使用Impala实现实时交互式查询分析
- 使用Storm实现流式数据实时分析
- 使用Spark实现迭代计算
这些产品通常来自不同的开发团队，具有各自的资源调度管理机制。
为了避免不同类型应用之间互相干扰，企业就需要把内部的服务器拆分成多个集群，分别安装运行不同的计算框架，即“一个框架一个集群”。
导致问题
- 集群资源利用率低
- 数据无法共享
- 维护代价高
- YARN的目标就是实现“一个集群多个框架”，即在一个集群上部署一个统一的资源。调度管理框架YARN，在YARN之上可以部署其他各种计算框架
- 由YARN为这些计算框架提供统一的资源调度管理服务，并且能够根据各种计算框架的负载需求，调整各自占用的资源，实现集群资源共享和资源弹性收缩。
- 可以实现一个集群上的不同应用负载混搭，有效提高了集群的利用率。
- 不同计算框架可以共享底层存储，避免了数据集跨集群移动。
##Yarn HA：
Yarn中的ResourceManager负责整个集群的资源管理和任务调度，Yarn高可用性方案通过引入冗余的ResourceManager节点的方式，解决了ResourceManager单点故障问题。
Yarn APPMaster容错机制：
Yarn的资源管理和任务调度
资源管理：
当前Yarn支持内存和CPU两种资源类型的管理和分配。
每个NodeManager可分配的内存和CPU的数量可以通过配置选项设置（可在Yarn服务配置页面配置）。
- yarn.nodemanager.resource.memory-mb
- yarn.nodemanager.vmem-pmem-ratio
- yarn.nodemanager.resource.cpu-vcore
资源分配模型：
- 调度器维护一群队列的信息、用户可以向一个或多个队列提交应用。
- 每次NM心跳的时候，调度器根据一定的规则选择一个队列，再在队列上选择一个应用，尝试在这个应用上分配资源。
- 调度器会优先匹配本地资源的申请请求，其次是同机架的，最后是任意机器的。
容量调度器：
容量调度器的介绍：
容量调度器使得Hadoop应用能够共享的、多用户的、操作简便的运行在集群上，同时最大化集群的吞吐量和利用率。
容量调度器以队列为单位划分资源，每个队列都有资源使用的下限和上限。每个用户可以设定资源使用上限。管理员可以约束单个队列、用户或者作业的资源使用、支持作业优先级，但不支持抢占。
容量调度器的特点：
- 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限，所有提交到该队列的应用程序共享这些资源。
- 灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，当该队列有新的应用程序提交，则其他队列释放的资源会归还给该队列。
- 支持优先级：队列支持任务优先级调度（默认是FIFO）。
- 多重租赁：支持多用户共享集群和多应用程序同时运行。为防止单个应用程序、用户或者队列独占集群资源，管理员可以为之增加多重约束。
- 动态更新配置参数：管理员可以根据需要动态修改配置参数，以实现在线集群管理。
容量调度器的任务选择：
调度时，首先按照以下策略选择一个合适队列：
- 资源利用最低的队列优先，比如同级的两个队列Q1和Q2，它们的容量均为30，而Q1已经使用10，Q2已使用12，则会优先将资源分配给Q1.
- 最小队列层级优先。例如：QueueA与QueueB.childQueueB，则QueueA优先。
- 资源回收请求队列优先。
然后按以下策略选择该任务中一个任务：
- 按照任务优先级和提交时间顺序选择，同时考虑用户资源量限制和内存限制。
队列资源限制：
队列的创建是在多租户页面，当创建一个租户关联Yarn服务时，会创建同名的队列。比如先创建QueueA，QueueB两个租户即对应Yarn两个队列。
队列的资源容量（百分比）：
例如，有default，QueueA，QueueB三个队列，每个队列都有一个[队列名].capacity配置。
- Default队列容量为整个集群资源的20%。
- QueueA队列容量为整个集群资源的10%。
- QueueB队列容量为整个集群资源的10%，后台有个影子队列root-default使队列之和达到100%。
共享空闲资源：
- 由于存在资源共享，因此一个队列使用的资源可能超过其容量，而最多使用资源量可通过该参数限制。
- 如果某个队列任务较少，可将剩余资源共享给其他队列。例如QueueA的maximum-capacity配置为100，假设当前只有QueueA在运行任务，理论上QueueA可以占用整个集群100%的资源。
用户限制：
每个用户最低资源保障（百分比）
任何时刻，一个队列中每个用户可使用的资源量均由一定的限制，当一个队列中同时运行多个用户的任务时，每个用户的可使用资源量在一个最小值与最大值之间浮动，其中，最大值取决于正在运行的任务数据，而最小值则由minimum-user-limit-percent决定。
例如：设置队列A的这个值为25，即yarn.scheduler.capacity.root.AueueA.minimum-user-limit-percent=25，那么随着任务的用户增加，队列资源的调整如下：
每个用户最多可使用的资源量（所在队列容量的倍数）
queue容量的倍数，用来设置一个user可以获取更多的资源。yarn.scheduler.capacity.root.QueueD.user-limit-factor=1.默认值为1，表示一个user获取的资源容量不能超过queue配置的capacity，无论集群有多少空闲字眼，最多不超过maximum-capacity。
任务限制：
- 最大活跃任务数：整个集群中允许的最大活跃任务数，包括运行或挂起状态的所有任务，当提交的任务申请数据达到限制以后，新提交的任务将会被拒绝。默认10000。yarn.scheduler.capacity.maximum-applications=10000.
- 每个队列最大任务数：对于每个队列，可以提交的最大任务数，以QueueA为例，可以在队列配置页面配置，默认是1000，即此队列允许最多1000个活跃任务。
- 每个用户可以提交的最大任务数：这个数值依赖每个队列最大任务数。假设根据上面的结果，QueueA最多可以提交1000个任务，那么对于每个用户而言，可以向QueueA提交的最大任务数为：1000 * yarn.scheduler.capacity.root.QueueA.minimum-user-limit-percent * yarn.scheduler.capacity.root.QueueA.user-limit-factor.
Yarn的增强特性
Yarn动态内存管理：
Yarn基于标签调度：
常用维护命令
常用性能调优参数：
以上内容为听华为大数据培训课程和大学MOOC上厦门大学 林子雨的《大数据技术原理与应用》课程而整理的笔记。
大数据技术原理与应用： https://www.icourse163.org/course/XMU-1002335004