Hadoop yarn运行机制及调度过程知识

        hadoop主要组件有hdfs、yarn，hdfs是分布式文件系统，主要是进行文件的存储，而yarn是hadoop集群资源管理系统，支持分布式计算模式，下面将介绍yarn的运行和调度过程。

     yarn运行机制

        yarn通过管理集群资源使用的资源管理器和运行在集群节点上启动、监控容器的节点管理器两类长期运行的守护进程提供核心服务。提到的容器是用于执行特定应用程序的进程，每个容器都有资源限制（内存、cpu），一个容器是一个linux进程即Linux cgroup。

图-yarn应用运行机制

        yarn上运行一个应用步骤：

        1、客户端联系资源管理器，要求运行一个application master进程（上图步骤1）。

        2、资源管理其找到一个能够在容器启动application master的节点管理器（上图步骤2a、2b）。

        3、application master运行后，根据应用本身向资源管理器请求更多容器（上图步骤3）。

        4、资源管理器给application master分配需要的资源后，application master在对应资源节点管理器启动容器，节点管理器获取任务运行需要的resources后，在该容器运行任务。（上图4a、4b）。

        下面对运行机制中对资源管理部分细节进行展开细化：

        yarn有一个灵活资源请求模型，当请求多个容器时，可以指定每个容器需要的计算机资源数量（内存和cpu），也可以指定对容器本地限制要求。容器本地限制可用于申请位于指定节点或机架或集群中任何位置容器，确保分布式数据处理可以高效使用集群宽带资源。HDFS默认数据存储三个复本，如果三个副本所在节点或机架资源申请失败后，则可以申请集群中任意节点。

     yarn调度

        理想情况下yarn应用发出资源请求会立刻给予满足，但现实是资源是有限的，通常需要等待才能得到所需资源，因此yarn提供多种调度器和可配置策略来供选择。

     调度策略

        yarn提供FIFO调度器、容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)三种调度器可用。

        FIFO调度器将应用放置在一个队列中，按照提价顺序运行应用，首先为队列中第一个应用请求分配资源，第一个应用请求被满足后再依次为队列下一个应用服务。FIFO调度器简单易懂，不需要配置，但不适合共享集群。如果碰到大应用（运行资源多）占用集群所有资源，其他应用必须等待直到轮到自己运行。这种情况下容量调度器或公平调度器更适合，这两种调度器允许长时间作业及时完成，又允许较小临时查询用户能得到反馈。下图描述调度器差异性。

图-yarn三种调度器比对

        如上图所属，当使用FIFO调度器(i)时，小作业会一直被阻塞，直到大作业完成。使用容量调度器时一个独立的专门队列保证小作业一提交就启动，由于队列容量为固定队列中作业所保留的，这种策略是以整个集群利用率为代价，相比于FIFO调度器相比，大作业执行时间更长。

        使用公平调度器时，不需要预留一定资源，调度器会在所有运行的作业之间动态平衡资源，第一个作业启动时，因为是唯一运行作业因而可以获得集群所有资源。当第二个作业启动，它被分配到集群的一半资源，每个作业都能公平共享资源。在这个过程中第二个作业启动能获得公平共享资源之间会有时间滞后，必须等待第一个作业使用的容器能用完并释放出资源。当小作业结束且不再申请资源后，大作业将再次使用全部资源，最终实现即得到较高集群利用率，又保证小作业及时完成。

        在yarn进行资源调度时有一些细节知识需要注意下，比如抢占和延迟调度。

     抢占

        抢占是在公平调度器模式下，当作业被提交到一个空队列时，因为没有作业运行需要的资源，作业不会立刻启动，这时允许调度器终止那些占用资源超过其公平共享份额的队列容器，这些容器释放后分配给资源数量低于应得份额队列。要启动这项功能需要配置下面策略参数。将yarn.scheduler.fair.preemption设置为true，开启抢占功能。触发抢占功能设置：mininum share preemption timeout和fair share preemption timeout，单位是秒。

        mininum share preemption timeout设置指定时间内未获得被承诺最小共享资源，调度器就抢占其他容器，可以通过分配文件中顶层元素defaultMinSharePreemptionTimeout为所有队列设置默认超时时间，也可以通过设置每个队列minSharePreemptionTimeout为单个队列指定超时时间。   

        fair share preemption timeout设置指定时间内获得资源仍然低于公平共享分享份额一半，那调度器就抢占其他容器。

      延迟调度

        延迟调度是尝试以本地请求为重，如果一个应用请求某个节点等待一段时间后能够增加在所请求节点上分配容器的机会，增加调度本地性，提高集群效率。

        当使用延迟调度时，调度器不会简单使用它收到第一调度机会，而是等待设定的最大数目调度机会发生，才放松本地限制并接受下一个调度机会。

        容量调度器可以通过设置yarn.scheduler.capacity.node-locality-delay配置延迟调度，设置为正书表示，调度器在放松节点限制改为同一机架上其他节点准备错过的调度机会数量。   

        公平调度器也使用调度机会数量来决定延迟时间，将yarn.scheduler.fair.locality.threshold.node设置为0.5，表示调度器在接受同一机架中其他节点之间，将一直等待到集群中一半节点已给过调度机会。

        总结

        本文是对yarn运行机制和调度过程梳理，包括yarn资源调度步骤流程、三种调度策略特点介绍和资源调度过程进行优化时可以使用的抢占、延迟调度功能梳理，希望通过本文可以帮你掌握yarn运行机制和调度过程知识。