YARN架构和资源管理

YA架构

Hadoop1和Hadoop2区别

yarn架构图

resourcemanager

全剧的资源管理器，整个集群只有一个，负责集群整个资源的统一管理和调度分配

功能：

• 处理客户端请求
• 启动/监控ApplicationMaster
• 监控NodeManager
• 资源调度与分配

NodeManager

整个集群有多个，负责单结点的资源管理和使用

功能：

• 单个结点上的资源管理和任务管理
• 处理来自ResourceManager的命令
• 处理来自ApplicationMaster的命令
• NodeManager管理抽象容器（Container），这个容器代表着可提供一个特定应用程序使用的针对每个结点的资源。
• 定时的向RM汇报本结点上的资源的使用情况和各个Container的运行状态。

ApplicationMaster

管理一个在YARN内运行的应用程序的每个实例

功能：

• 为应用程序申请资源，并进一步分配内部任务
• 任务监控与i容错
• 负责协调来自Resourcemanager的资源，开通NodeManager监视容器的执行和资源使用（CPU，内存等资源分配）

Container

Yarn中资源的抽象，封装某个结点上多维度资源，如内存，CPU，磁盘，网络等，当applicationmaster向resourcemanager申请资源时，resourcemanager向applicationmaster返回的资源便是使用container表示的。
yarn会为每个任务分配一个container。且该任务只能使用给container中描述的资源。

功能：

• 对任务进行环境的抽象
• 描述一系列信息
• 任务运行资源（结点，内存，CPU）
• 任务启动命令
• 任务运行环境

YARN资源管理

• 资源调度和资源隔离是YARN作为一个资源管理系统，最重要和最基础的两个功能，资源调度由ResourceManager完成，而资源隔离由各个NodeManager实现。
• ResourcesManager将某个NodeManager上的资源非配给任务（这就是所谓的资源调度）后，NodeManager需要按照要求与为任务提供相应的资源，甚至要保证这些资源要具有独占性，为任务运行提供基础的恶保障，这就是所谓的资源隔离。
• 当谈到资源时，我们通常指的是内存，CPU，IO三种资源，Hadoop Yarn同时支持内存和CPU两种资源的调度。
• 内存资源的多少会决定任务的生死，如果内存不够，任务可能运行失败；相比之下，CPU资源不同，他只会决定任务运行的快慢，不会对生死产生影响。

• yarn允许用户配置每个节点上的可用物理内存资源，注意，这里是“可用的”，因为一个节点上的资源会被若干个服务共享，如，一部分给Yarn，一部分给HDFS，一部分给HBASE，Yarn配置的只是自己可以使用的，配置参数如下：

  • yarn默认配置每个节点的内存8G，CPU8核，具体的使用中需要根据实际情况在yarn-site中进行配置。
    内存：yarn.nodemanager.resource.memory-mb
    CPU：yarn.nodemanager.resource.cpu-vcores
    
  • yarn.nodemanager.vmem-pmem-ratio
    任务每使用1M的物理内存，最多可使用的虚拟内存量

  • yarn.nodemanager.pmem-check-enabled
    是否启动一个线程检查每个任务正在使用的物理内存量，如果任务超出分配值，直接将他杀掉，默认是True

  • yarn.nodemanager.vmem-check-enabled
    是否启动一个线程检查每个任务正在使用的虚拟内存量，如果任务超出分配值，直接将他杀掉，默认是True

  • yarn.scheduler.minimum-allocation-mb
    单个任务可申请的最少内存，默认时1024M，如果一个任务申请的物理内存量少于该值，则该对应的值减少位这个数。
  • yarn.scheduler.maximum-allocation-mb
    单个任务可申请的最大内存，默认时8192M

• 目前的C普被划分为虚拟CPU，这里的虚拟CPU时YARN自己引用的概念，初衷是，考虑到不同节点的CPU的性能可能不同，每个CPU的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另一个物理CPU的2倍，这时候可以为第一个物理CPU多配置几个虚拟CPU弥补这种差异，用户提交作业时，可以指定每个任务需要的虚拟CPU个数，在YARN中，CPU相关配置如下：
  
  • yarn.nodemanager.resource.cpu-vcores
    表示该节点上YARN可使用的虚拟CPU个数，默认是8，目前推荐将该值设置位与物理CPU核数数目相同。如果物理CPU核数不够8，则需要调小这个值，而YARN不会智能的探测物理CPU总数。
  • yarn.scheduler.minimum-allocation-vcores
    单个任务可申请的最小CPU个数，默认是1，如果一个任务申请的CPU个数小于该数，则将该数改为这个数。
  • yarn.scheduler.maximum-allocation-vcores
    单个任务可申请的最大CPU个数，默认是32