我司生产环境的大数据集群是用CDH部署的版本有5.11.1 5.14.1 5.16.1 这三个版本.

这里主要是讲一下生产上面 Hadoop的资源配置情况

一、DataNode配置

为了计算时保证数据本地化，DataNode进程所在的节点上也会部署NodeManager进程，做到存储计算一体

DataNode的内存资源配置 2G内存，如果数据量比较大可以设置3G 甚至4G。我司生产上配了2G

二、NodeManager配置

NodeManager的内存资源配置为4G，一般4G已经够用了

三、Container配置说明

相关参数文档参见：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

生产上的机器内存是96G 12个核我们一般预留了20%的内存作为系统预留，用来支撑系统运行、CM的agent的运行、其他非CDH的组件的运行及将来可能部署的组件预留

96*(1-20%)=76.8G

大约算成76G内存除去DataNode和NodeManager的内存，留给Container的最大可用内存为70G

相关参数（在CM的web界面上修改配置）：

yarn.nodemanager.resource.memory-mb 该参数是用来指定可以给Container用的物理内存默认8192MB ，需要修改

yarn.scheduler.minimum-allocation-mb 该参数指定一个Container最小需要的内存默认1024MB，一般不需要修改

yarn.scheduler.maximum-allocation-mb 该参数指定一个Container最大可以申请的内存默认8192MB，需要修改

yarn.scheduler.increment-allocation-mb 该参数是容器内存增量，表示内存会自动增加，在CDH官方文档上没有这个参数，但CM的web页面上有，一般不调整我们生产上默认是512MB，表示容器内存不够时默认以512MB的大小增加Container内存

四、Container vcore配置说明

虚拟core ，是yarn自己设计引入的概念，设计初衷是考虑不同的机器的CPU的性能不一样。比如某个服务器的CPU的性能是另外一台CPU的2倍，那么可以设置第一台服务器的虚拟core为2，另外CPU弱一点的那台的虚拟core为1，尽量保证每台服务器的虚拟core的性能差不多。

计算的时候，并发任务是靠vcore来进行计算的，而不是物理core

五、生产上如何计算CPU、内存配置

生产上服务器配置为96G 内存 12个物理核

计算CPU配置：

cloudera公司推荐：一个Container最大的vcore个数不要超过5个（实践经验值）

所以 yarn.scheduler.maximum-allocation-vcores参数可以设置为4 yarn.scheduler.minimum-allocation-vcores默认为1即可

线上12个物理core，按照 yarn.nodemanager.resource.pcores-vcores-multiplier为2进行计算，总共有24个vcore 即：

yarn.nodemanager.resource.cpu-vcores 为24

yarn.scheduler.increment-allocation-vcores 为1 表示申请vcore以该值递增

如果只考虑NodeManager ，不考虑HBase的ResourceManager等其它组件的话，极限情况下可以申请 24/4 = 6 个Container

注意：CPU一般不做系统预留

计算内存配置：

既然我极限情况下可以申请6个Container，而内存最大可用70G内存

那么参数：

yarn.scheduler.maximum-allocation-mb 设置为 70/6 = 11G

yarn.scheduler.minimum-allocation-mb 默认1G即可

注意：

以上计算配置的方式中是通过确定cpu的配置，然后再来配置内存的配置，从而确定一个Container最大可申请多少内存。如果一些Spark任务需要申请的内存比较大，那么相应的配置就应该以内存为主要配置项。

假设最大的Spark任务需要申请一个Container的内存为14G，那么参数配置如下：

yarn.nodemanager.resource.pcores-vcores-multiplier为 2

yarn.nodemanager.resource.cpu-vcores 为 24

yarn.scheduler.maximum-allocation-vcores 为 4

yarn.scheduler.minimum-allocation-vcores 为 1

yarn.scheduler.minimum-allocation-mb 为 1G

yarn.scheduler.maximum-allocation-mb 为 14G

如此配置下，申请内存极限情况下可以申请5个Container，用到 5* 4个vcore

六、生产上其他配置项

yarn.nodemanager.pmem-check-enabled 检查一个Container的内存是否超过物理内存默认为true 需要修改为false

yarn.nodemanager.vmem-check-enabled 检查一个Container的内存是否超过虚拟内存默认为false 保持默认

yarn.nodemanager.vmem-pmem-ratio 该参数表示虚拟内存与物理内存的比值默认为2.1 一般不做改动

七、CDH提供的yarn配置Excel

参见：

http://tiny.cloudera.com/yarn-tuning-guide

https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_ig_yarn_tuning.html

CDH官网的这个文档很有意思，通过一个Excel的形式，让我们一步一步的做yarn的配置和MapReduce的配置，在集群配置没有思路的时候可以参考

八、集群中还有别的组件时的配置

假如服务器是256G内存，32个物理核，而我们要部署Yarn、HBase Region Server组件，此时，该如何配置

内存：

系统预留：因服务器内存较大，可以考虑预留比较缩小，比如预留10%到15%之间，这里我们考虑预留12.5% 即预留32G内存

DataNode：2G内存

NodeManager：4G内存

HBase Region Server：30G内存（视数据量而定，但JVM有个神奇的32G定律，包括Elasticsearch也推荐一个JVM内存不要超过32G。如果数据量较大，可以考虑设置64G内存给HBase Region Server）

Container总共可用内存：256 - 32 - 2 - 4 - 30 =188G内存

CPU：

yarn.nodemanager.resource.pcores-vcores-multiplier 为2 个

yarn.nodemanager.resource.cpu-vcores为 32 * 2=64 个

yarn.scheduler.maximum-allocation-vcores 为4 个

yarn.scheduler.minimum-allocation-vcores 为1 个

yarn.scheduler.increment-allocation-vcores 为1个

所以极限情况下我们可以申请到16个Container

内存：

yarn.scheduler.minimum-allocation-mb 为 1G

yarn.scheduler.maximum-allocation-mb 为 188*1024/16 约为11G

yarn.scheduler.increment-allocation-mb 为默认512MB

九、HDP的配置计算方式

详见：https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap1-11.html

虽然我们生产都是使用CDH来部署大数据集群，不过HDP的这种计算思路，也可以参考一下

十、参考文档

https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_ig_yarn_tuning.html

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.1.1/bk_installing_manually_book/content/rpm-chap1-11.html

Hadoop Yarn 生产资源配置