Hadoop集群：容量调度器多队列设置

软件版本：

• VMware：VMware-15.5.1
• Linux：CentOS-7.5-x86_64-DVD-1804.iso
• JDK:jdk-8u212-linux-x64.tar.gz
• Hadoop：hadoop-3.1.3.tar.gz

目录

1 需求

2 配置多队列的容量调度器

3 web查看调度器

---

1 需求

Yarn默认的容量调度器是一条单队列的调度器，在实际使用中会出现单个任务阻塞整个队列的情况。同时，随着业务的增长，公司需要分业务限制集群使用率。这就需要我们按照业务种类配置多条任务队列。

2 配置多队列的容量调度器

默认Yarn的配置下，容量调度器只有一条Default队列。在capacity-scheduler.xml中可以配置多条队列，并降低default队列资源占比：

    yarn.scheduler.capacity.root.queues
    default,hive
 


    yarn.scheduler.capacity.root.default.capacity
    40



    yarn.scheduler.capacity.root.hive.capacity
    60



    yarn.scheduler.capacity.root.default.user-limit-factor
    1



    yarn.scheduler.capacity.root.hive.user-limit-factor
    1



    yarn.scheduler.capacity.root.default.maximum-capacity
    60



    yarn.scheduler.capacity.root.hive.maximum-capacity
    80



    yarn.scheduler.capacity.root.default.state
    RUNNING



    yarn.scheduler.capacity.root.hive.state
    RUNNING



    yarn.scheduler.capacity.root.default.acl_submit_applications
    *



    yarn.scheduler.capacity.root.hive.acl_submit_applications
    *



    yarn.scheduler.capacity.root.default.acl_administer_queue
    *



    yarn.scheduler.capacity.root.hive.acl_administer_queue
    *


       yarn.scheduler.capacity.root.default.acl_application_max_priority
    *




  yarn.scheduler.capacity.root.hive.acl_application_max_priority
    *



     yarn.scheduler.capacity.root.default.maximum-application-lifetime
     
     -1
 

 
     yarn.scheduler.capacity.root.hive.maximum-application-lifetime
     
     -1
 

 
     yarn.scheduler.capacity.root.default.default-application-lifetime
     
     -1  



     yarn.scheduler.capacity.root.hive.default-application-lifetime
     
     -1

3 web查看调度器

在配置完成后，重启Yarn，就可以看到两条队列：