HDP 中 yarn 和 MR2 的配置

       以下说明均以集群中 slave 结点的配置为 48G内存，12块硬盘，12核(core) CPU 为例。

       在 Yarn 中，一个 Container 是一个基础的包含内存和CPU 的单元。为了较好的平衡利用集群的资源，通常建议每块磁盘和每个core 分配1~2 个 container。所以在上面的配置下，每个结点允许最大配置 20 个 container。

       我们给 yarn 分配 40G内存，另外 8G留给操作系统。40G分配给 20 个 container，所以每个 container 分配到 2个G的内存。在 yarn-site.xml 中配置如下：

　　　　
     yarn.nodemanager.resource.memory-mb
     40960



　　　　
     yarn.scheduler.minimum-allocation-mb
     2048

 

      MapReduce2 运行在 Yarn 之上，利用 container 去安排 Map 和 Reduce 任务， 配置 MR2 的资源，需要考虑以下三个方面：

    （1）每个 map 和 reduce 任务的物理内存限制

    （2）每个任务的 JVM 堆大小

    （3）每个任务获得的虚拟内存的总量

    每个 map 和 reduce 任务运行在不同的 container 中，因此 Map 和 reduce 最大的内存配置应该等于或大于 yarn.scheduler.minimum-allocation-mb 的值。

在 mapred-site.xml 里配置：

     
    mapreduce.map.memory.mb
    4096



     
    mapreduce.reduce.memory.mb
    8192

    每个 container 均会开启 JVM ， JVM 的堆大小必须小于上面 Map 和 Reduce 的 memory 的配置。因此在 mapred-site.xml 中加入下面的配置：

    mapreduce.map.java.opts
    -Xmx3072m



    mapreduce.reduce.java.opts
    -Xmx6144m

   上面配置了 Map 和 Reduce 使用的物理内存的上限。map 和 reduce 任务使用的虚拟内存（physical + paged memory）由 yarn container 允许的 ratio 决定。这个ratio 可以在 yarn-site.xml 中进行配置（2.1 是默认值）：

    yarn.nodemanager.vmem-pmem-ratio
    2.1

 

   综上所述，每个 map 任务可获得如下的内存分配：

（1） 物理 RAM = 4G

（2）map 任务的 container 的 JVM 的堆大小上限 = 3G

（3）虚拟内存上限 = 4*2.1 = 8.4G

 

总的来说，以 yarn.nodemanager. 开头的配置，配置的是硬件资源相关的东西， yarn.scheduler. 开头的配置，配置的是资源调度相关的，其值不能大于 yarn.nodemanager 中相关的资源限制。

转载于:https://www.cnblogs.com/langfanyun/p/10560767.html