Hadoop Yarn 配置多队列的容量调度器

配置多队列的容量调度器

首先，我们进入 Hadoop 的配置文件目录中（$HADOOP_HOME/etc/hadoop）；

然后通过编辑容量调度器配置文件 capacity-scheduler.xml 来配置多队列的形式。

默认只有 default 队列，显然一个队列不符合集群的生产环境，会造成队列阻塞，资源分配不合理的情况等等，所以这时候就需要配置多队列了。

需求：

• default 队列占总内存的 40%，最大资源容量占总资源 60%

• hive 队列占总内存的 60%，最大资源容量占总资源 80%。

不管配置多少个队列，总内存的和值最大不超过100%，超过会直接报错。

最大资源容量单个不超过100%，同时在配置队列的情况下也不要配置为100%，那样就失去了配置队列的意义，并发情况下和单队列一样了。

修改相关配置：

<property>
    <name>yarn.scheduler.capacity.root.queuesname>
    <value>default,hivevalue>
property>


<property>
    <name>yarn.scheduler.capacity.root.default.capacityname>
    <value>40value>
property>


<property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacityname>
    <value>60value>
property>

为新队列添加相关配置：

<property>
    <name>yarn.scheduler.capacity.root.hive.capacityname>
    <value>60value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factorname>
    <value>1value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacityname>
    <value>80value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.statename>
    <value>RUNNINGvalue>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applicationsname>
    <value>*value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queuename>
    <value>*value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priorityname>
    <value>*value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetimename>
    <value>-1value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.default-application-lifetimename>
    <value>-1value>
property>

配置添加完成后，分发配置到集群其它机器。

该配置设置完成后，无需重启集群，使用下列命令进行队列刷新即可：

yarn rmadmin -refreshQueues

当然，不嫌麻烦可以去重启集群。

多队列查看

进入 Yarn 的 WEB 界面就可以看到我们配置好的队列了。

点开可以看到更为详细的配置信息：