CDH集群配置资源队列

1.首先来调整自动创建队列的情况发生,这会让我们失去控制。

设置两个yarn集群参数,禁止自动创建资源队列

  1. yarn.scheduler.fair.user-as-default-queue false

 

CDH集群配置资源队列_第1张图片

   2. yarn.scheduler.fair.allow-undeclared-pools

 

CDH集群配置资源队列_第2张图片

2.创建动态资源池

  • 创建资源池并且将原有资源池进行更改
  • 创建新增用户的资源池,不要设置为父池!
  • 将原有的资源池自动创建选项都去掉
  • 根据自身需求来设置资源权重

 

来看一下我的:

CDH集群配置资源队列_第3张图片

 

 

 

3.定义放置规则

CDH集群配置资源队列_第4张图片

 

4.用户限制根据自身需求设置即可一般情况下只有特殊关注的才设置为单独用户使用比如新增的队列为haha那么haha队列就只能有haha用户可以访问其他的队列不做特殊处理。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(Spark,大数据,CDH,hadoop)