1、登录CDH后选择YARN

使用CDH调整yarn的内存和CPU资源大小_第1张图片

2、更改CPU

在yarn配置页面,搜索 在类别->资源管理中找到【容器虚拟 CPU 内核】或者直接搜索 yarn.nodemanager.resource.cpu-vcores

使用CDH调整yarn的内存和CPU资源大小_第2张图片

这里改的是单个服务器可以用的CPU的核心数,假设有3台服务器,每台这里设置32那总的yarn集群可用的cpu数就是 32*3=96C,这个效果 image.png

3、更改内存

在yarn配置页面,搜索 在类别->资源管理中找到【容器内存】或者直接搜索 yarn.nodemanager.resource.memory-mb

使用CDH调整yarn的内存和CPU资源大小_第3张图片

这里就是单台机器的可分配内存大小,单台机器50吉字节(GB),那总集群就是150G,这个效果 image.png

4、更改每个队列可以使用的资源范围

上面是设置总的yarn集群的资源,下面是设置每个队列可以使用的资源,还是一样在配置中找到: Fair Scheduler XML
YARN 中,Fair Scheduler 是一种资源调度器,它允许不同类型的作业(或应用程序)在共享的集群资源上公平地竞争。Fair Scheduler 使用 XML 配置文件来定义各种调度策略和资源分配规则。
maxResources 是 Fair Scheduler 配置文件中的一个配置项,用于设置调度队列的最大资源限制。具体来说,对于一个调度队列,您可以设置 maxResources 属性来限制该队列能够使用的最大资源数量,例如最大可用的虚拟 CPU 核心数和内存量

这里可以设置每个队列的内存和CPU最大和最小使用量和权重等信息 使用CDH调整yarn的内存和CPU资源大小_第4张图片

5、重启yarn,使配置生效

等重新启动后,登录yarn的8089页面就可以看到资源调整成新的了 使用CDH调整yarn的内存和CPU资源大小_第5张图片