Hadoop学习笔记 --- YARN执行流程与工作原理

一、YARN简述

首先介绍一下YARN

在Hadoop2.0版本引进的资源管理系统,直接从MapReduce V1演化而来(由于引擎的功能缺陷);

原因是将MapReduce1中的Job Tracker的资源管理和作业调度两个功能分开,分别由ResourceManager和Application Master进行实现;

  • ResourceManager:负责整个集群的资源管理和调度

  • ApplicationMaster:负责应用程序相关事务,比如任务调度、任务监控和容错机制等。

 

YARN的出现使得多个计算框架可以运行在同一集群之中。每一个应用程序对应一个ApplicationMaster。

目前可以支持的多种计算框架包含了MapReduce、Strom、Spark、Flink等。

 

 

二、基础架构与工作原理

Hadoop学习笔记 --- YARN执行流程与工作原理_第1张图片

 

 

YARN的架构主要由五部分组成:

  • ResourceManager (RM)

  • NodeManager (NM)

你可能感兴趣的:(数据仓库,大数据挖掘与大数据应用案例,YARN,Hadoop,大数据,资源调度,数据仓库)