hadoop生态笔记之yarn

HADOOP 生态

 

YARN是一个集群资源管理与任务调度的分布式框架,是从MP1上升级分离出来的调度框架。

hadoop生态笔记之yarn_第1张图片

 1、RM:

   a、处理客户请求

   b、启动和监控AM

   c、监控NM

   d、资源分配与调度

2、AM:

    a、为应用程序从RM处申请资源

    b、需要与NM通信,启动/停止任务,AM运行在container,任务也运行在container中

    c、每个应用程序对应一个,MR,Spark负责程序管理

 3、NM:

    a、集群中有N个,负责自己资源的管理使用

    b、定时向RM汇报自己资源使用情况

    c、接收和处理来自RM的指令,启动Container

    d、处理来自AM的指令,AM与Container通过心跳的方式通信

    e、单个节点的资源管理(RM是整个集群的资源管理)

 4、Container:

    a、封装了CPU,内存的资源容器,最小运行环境的抽象

    b、多个任务之间通过它进行相互隔离,互补影响,类似于docker

运行机制:

1、client 向RM提交了一个作业(RM,Spark)

2、RM需要给该作业指定一个NM,并与NM通信,在NM上启动一个Container

3、在NM的Container中启动AM,AM需要向RM进行注册,注册后可以向AM申请所需的资源,AM告知该作业后续的NM,由于AM已向RM注册,所以Client可以从RM处获取到作业进度

4、AM与后续的NM进行通信,告知需要的Container

5、NM在需要的Container上执行执行任务

 

 

 

你可能感兴趣的:(大数据)