Hadoop-Yarn调优

Hadoop-Yarn调优

未完待续

0x01 概述

1.1 官方文档

首先给出一个Apache-Hadoop官方写的关于yarn-site.xml的配置项说明地址:

  • yarn-default.xml

  • Hortonworks Documentation9. Determine HDP Memory Configuration Settings

1.2 内存和CPU的资源隔离方案

YARN对内存资源和CPU资源采用了不同的资源隔离方案:

  • 对于内存资源
    为了能够更灵活的控制内存使用量,默认情况YARN采用了进程监控的方案控制内存使用,即每个NodeManager会启动一个额外监控线程监控每个container内存资源使用量,一旦发现超过指定资源,则会将该子进程杀死。

    采用这种机制的另一个原因是Java中创建子进程采用了fork()+exec()的方案,子进程启动瞬间,它使用的内存量与父进程一致,从外面看来,一个进程使用内存量可能瞬间翻倍,然后又降下来,采用线程监控的方法可防止这种情况下导致swap操作以及误杀。而Cgroup对内存监控缺乏灵活,一旦发现任务使用内存资源超过阈值就会立刻杀死或抛出OOM异常。

  • 对于CPU资源
    采用了Cgroups进行资源隔离。

1.3 pull-based异步资源分配

注意, YARN的资源分配过程是异步的,即RM将资源分配给一个application后,它不会立刻push给对应的AM,而是暂存到缓冲区,等待AM通过周期性的RPC函数主动来取。也就是说,资源分配采用pull-based模型,而不是push-based模型。

0x02 内存

2.1 概述

内存是决定程序生死的资源,最为重要。

2.2 yarn-site.xml

2.2.1 NodeManager

  • yarn.nodemanager.resource.memory-mb
    默认值8192MB。表示该节点可被分配给container的物理内存。

    注意:若该节点内存不够8GB,则需调小该值,因为YARN不会探测节点物理内存总量。

  • yarn.nodemanager.vmem-pmem-ratio
    默认值2.1。设定container可使用的虚拟内存和物理内存比值。

  • yarn.nodemanager.pmem-check-enabled
    默认值true。是否强制container的物理内存资源使用阈值。如果设定为true则会启动一个线程监控container的物理内存使用情况,若超出了分配值,则会被kill。

  • yarn.nodemanager.vmem-check-enabled
    默认值true。是否强制container的虚拟内存资源使用阈值。如果设定为true则会启动一个线程监控container的虚拟内存使用情况,若超出了分配值,则会被kill。

2.2.2 ResourceManager

  • yarn.scheduler.minimum-allocation-mb
    默认值1024(单位MB)。每个container可申请的最少物理内存量,如果申请少于该值,抛出InvalidResourceRequestException。

  • yarn.scheduler.maximum-allocation-mb
    默认值8192(单位MB)。每个container可申请的最多物理内存量,如果申请多于该值,抛出InvalidResourceRequestException。

0x03 CPU

3.1 概述

CPU是决定程序快慢的资源,重要性次之。

在yarn中自己抽象了一个vcore概念,和物理cpu core并不绝对对等。因为考虑到CPU性能各不相同,所以可以自己为不同的CPU定义vcore。

3.2 yarn-site.xml

3.2.1 NodeManager

  • yarn.nodemanager.resource.cpu-vcore
    默认值8。该参数为RM在为container分配vcore时,本node可用的Vcores,官方建议和物理核数相同。

3.2.2 ResourceManager

  • yarn.scheduler.minimum-allocation-vcores
    默认值1。每个Container可向RM申请的最小vcore数,小于时抛出InvalidResourceRequestException
  • yarn.scheduler.maximum-allocation-vcores
    默认值32。每个Container可向RM申请的最大vcore数,超过时抛出InvalidResourceRequestException

0xFF 参考文档

1.好文推荐

  • Hortonworks Documentation9. Determine HDP Memory Configuration Settings
  • Hadoop-Yarn学习

2. 参考文档

  • Hadoop性能调优、YARN的内存和CPU配置
  • hadoop,yarn和vcpu资源配置

你可能感兴趣的:(yarn,hadoop)