YARN框架的认知

YARN概念:是hadoop的资源管理和任务调度的分布式框架

主节点ResourceManager:

  • 管理整个集群的资源(CPU和内存)
  • 接收Client提交的应用

从节点NodeManager:

  • 每个节点的资源管理(CPU和内存)

运行在YARN集群上的每个应用,YARN会为之启动对应的应用管理者ApplicationMaster,用于管理这个应用的运行情况

  • 应用中Task资源申请
  • 监控Task运行状况
  • Task运行失败需要进行调度和处理

YARN框架的认知_第1张图片

YARN服务功能

ResourceManager,简称RM

  • 处理客户端请求
  • 启动并监控ApplicationMaster
  • 监控NodeManager
  • 资源分配与调度

ApplicationMaster,简称AM

  • 数据切分
  • 为应用程序申请资源并分配内部任务
  • 任务监控与容错

NodeManager

  • 单个节点的资源管理
  • 处理来自RM的命令
  • 处理来自AM的命令

Container

  • 任务运行环境容器:封装了CPU、内存等多维资源、环境变量、启动命令等任务运行相关的信息

你可能感兴趣的:(Hadoop,大数据)