【YARN】(1)-- 整体架构、RM、NM、AM等基础组件快速理解

一、Yarn的功能和整体架构

Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

可以把Hadoop YARN理解为相当于一个分布式的操作系统平台,而MapReduce等计算程序则相当于运行于操作系统之上的应用程序,YARN为这些程序提供运算所需的资源(内存、cpu等)。

YARN 实际上是一个弹性计算平台,它的目标已经不再局限于支持MapReduce 一种计算框架,而是朝着对多种框架进行统一管理的方向发展。如下图所示:
【YARN】(1)-- 整体架构、RM、NM、AM等基础组件快速理解_第1张图片

那YARN的整体架构是什么样的呢?它又包含了哪些核心组件呢?下图是Hadoop官网中关于Yarn的架构图。我们一起来拆解一下:

你可能感兴趣的:(HDFS全方位实战,hadoop,yarn,大数据)