Yarn---资源调度框架

	Hadoop主要由三部分组成,一是分布式文件系统HDFS、而是分布式计算框架MapReduce、三是分布式集群资源调度框架Yarn。Yarn并不是随Hadoop的推出就有的,而是伴随Hadoop的发展,使Hadoop从一个单一的大数据计算引擎,成为一个集存储、计算、资源管理为一体的完整大数据平台。
	在MapReduce应用程序的启动过程中,最重要的就是把MapReduce程序分发到大数据集群的服务器上,在Hadoop1中,这个过程主要是通过TaskTracker和JobTracker通信来完成。但是缺点是服务器集群资源调度管理和MapReduce执行过程耦合在一起,如果想在当前集群中运行其他计算任务,比如Spark或Storm,就无法统一使用集群中的资源了。
	Yarn是“Yet Another Resource Negotiator”的缩写,意思是“另一种资源调度器”。Yarn包括两个部分:一个是资源管理器(Resource Manager),另一个是节点管理器(Node Manager)。这也是Yarn的两种主要进程:ResourceManager进程负责整个集群的资源调度管理,通常部署在独立的服务器上;NodeManager进程负责具体服务器上的资源和任务管理,在集群的每一台计算服务器上都会启动,基本上跟HDFS的DataNode进程一起处理。
	具体来说,资源管理器又包括两个主要组件:调度器和应用程序管理器。

你可能感兴趣的:(Hadoop组件)