hadoop系统中yarn的作用

hadoop系统中yarn的作用_第1张图片

ResourceManager,NodeManager,ApplicationMaster,Container,同样下面亦是yarn结构图。

ResourceManager是全局的,负责对于系统中的所有资源有最高的支配权。

ApplicationMaster 每一个job有一个ApplicationMaster 。

NodeManager,NodeManager是基本的计算框架。

NodeManager 是客户端框架负责 containers, 监控他们的资源使用 (cpu, 内存, 磁盘, 网络) 和上报给 ResourceManager/Scheduler.

ApplicationMaster首先它是一个框架库,它的功能官网说的不够系统,大意,由于NodeManager 执行和监控任务需要资源,所以通过ApplicationMaster与ResourceManager沟通,获取资源。换句话说,ApplicationMaster起着中间人的作用。

转换为更专业的术语:AM负责向ResourceManager索要NodeManager执行任务所需要的资源容器,更具体来讲是ApplicationMaster负责从Scheduler申请资源,以及跟踪这些资源的使用情况以及任务进度的监控。

ResourceManager有两个组件:调度器和应用程序管理器。 

调度器(Scheduler)是可插拔的,比如有Fair Scheduler、Capacity Scheduler等,当然调度器也可以自定义。

 

你可能感兴趣的:(hadoop)