本文翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-site/YARN.html
译注:原文说得有些过于简单的,并且有些混乱。
yarn由两个部分的守护程序构成:资源管理、调度/监控。
这样就要求有个全局资源管理器(resoureManager-rm)和与应用一一对应的管理程序(applicationMaster-am).
一个应用要么是一个作业,要么就是由作业构成的dag(多个job--多个job)
Yarn的数据计算框架由rm和节点管理器(nodemanager -nm)构成.rm负责管理所有应用的资源。nm其实是容器的代理,负责监控资源使用(cpu,内存,磁盘,网络),并向rm/调度器报告有关信息。
am从rm获取资源,并和nm协调工作,执行和监控任务。
译注: dag-directed acycli graph --有向无环图
参阅:
- https://en.wikipedia.org/wiki/Directed_acyclic_graph
- http://baike.baidu.com/item/%E6%9C%89%E5%90%91%E6%97%A0%E7%8E%AF%E5%9B%BE
dag图相对比较简单,适合yarn的作业结构,如果太复杂,实现起来有点困难,而且目前暂时没有那个必要。一个有向有环图更可能用于流程处理。
图1-yarn框架
译注:在上图中,有两个客户,分别提交了一个作业。yarn集群的组件分布在4个节点上,其中一个运行rm,另外三个运行nm。am则运行在两个数据节点上,分别用于关于关于两个客户的需求。
- 紫色客户的应用主程序运行在右上节点,但它的工作实际中右边中间一个节点执行。
- 粉褐客户的应用主程序运行在右中节点,实际工作分布在右上和右下两个节点上。
- 粉褐客户的资源需求大体是紫色的两倍。
- 注意:一个节点上可以有多个容器
nm必须和dn运行在一起,可以方便地收集dn的资源信息。
资源管理器
资源管理器有两个主要的部分:作业调度器和应用主程序.
作业调度器
作业调度器负责为应用分配资源(译注,如果是这么说,也许理解为资源调度器,就好比生活中火车调度站-负责为每个商业合同分配车皮)。
调度器不监控也不追踪应用的状态。
调度器不保证任务的成功,不管任务是因为由于应用还是硬件的故障。
调度器根据应用的资源需求,执行调度功能;它仅仅工作于资源容器上,后者包含诸如内存,cpu,磁盘和网络等等。
调度器具有一个可拔插的策略--根据不同队列,应用等,把集群资源进行划分。当前版本的调度器具有CapacityScheduler 和 FairScheduler 这两个策略。
译注:
- CapacityScheduler--容量调度器,大体可以理解为根据要求来分配资源。了解这个很重要,因为不是所有客户的需求都是一样的,需要分轻重缓急。
- FairScheduler--公平到调度器,大体可以理解为所有的应用的资源需求都是一致的。
应用主程序
应用主程序负责接收作业提交,并找到第一个可用的容器,如果容器有故障,能重启容器。此外am还负责从调度器中获得资源,并追踪和监测任务。
资源预订(resource reservation)
yarn支持预订系统(ReservationSystem),用户可以提前预定资源,这样保留出来的资源可以用于执行一些重要的作业。
预订系统不停地追踪资源,处理预订,并不时提醒调度器,让后者确保所有的预订能够得到满足。
译注:yarn的预订,不失为一个有趣有用的功能。很多系统中,这些功能的实现,主要靠认为操作来实现。