Hadoop中的容量调度器多队列提交案例、Yarn 案例实操（二）

17. Yarn 案例实操

17.2 容量调度器多队列提交案例

1）在生产环境怎么创建队列？
（1）调度器默认就1个default队列，不能满足生产要求。
（2）按照框架：hive /spark/ flink 每个框架的任务放入指定的队列（企业用的不是特别多）
（3）按照业务模块：登录注册、购物车、下单、业务部门1、业务部门2
2）创建多队列的好处？
（1）因为担心员工不小心，写递归死循环代码，把所有资源全部耗尽。
（2）实现任务的降级使用，特殊时期保证重要的任务队列资源充足。11.11 6.18
业务部门1（重要）=》业务部门2（比较重要）=》下单（一般）=》购物车（一般）=》登录注册（次要）

17.2.1 需求

需求1：default队列占总内存的40%，最大资源容量占总资源60%，hive队列占总内存的60%，最大资源容量占总资源80%。
需求2：配置队列优先级

17.2.2 配置多队列的容量调度器

[summer@hadoop102 hadoop]$ sz capacity-scheduler.xml 

将capacity-scheduler.xml下载到桌面
用notepad++打开，这样修改比在shell中修改方便

17.2.2.1 在capacity-scheduler.xml中配置如下：

17.2.2.1.1 修改如下配置

<property>
    <name>yarn.scheduler.capacity.root.queuesname>
    <value>default,hivevalue>
    <description>
      The queues at the this level (root is the root queue).
    description>
property>


<property>
    <name>yarn.scheduler.capacity.root.default.capacityname>
    <value>40value>
property>


<property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacityname>
    <value>60value>
property>

17.2.2.1.2 为新加队列添加必要属性

<property>
    <name>yarn.scheduler.capacity.root.hive.capacityname>
    <value>60value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factorname>
    <value>1value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacityname>
    <value>80value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.statename>
    <value>RUNNINGvalue>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applicationsname>
    <value>*value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queuename>
    <value>*value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priorityname>
    <value>*value>
property>




<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetimename>
    <value>-1value>
property>


<property>
    <name>yarn.scheduler.capacity.root.hive.default-application-lifetimename>
    <value>-1value>
property>

17.2.2.2 分发配置文件

由于我是下载到本地，通过notepad++进行修改的，所以需要上传到linux上，先将linux上的capacity-scheduler.xml删除，然后进行拖拽

[summer@hadoop102 hadoop]$ xsync capacity-scheduler.xml

17.2.2.3 重启Yarn或者执行yarn rmadmin -refreshQueues刷新队列，就可以看到两条队列

[summer@hadoop102 hadoop]$ yarn rmadmin -refreshQueues

17.2.3 向Hive队列提交任务

17.2.3.1 hadoop jar的方式

17.2.3.2 打jar包的方式

默认的任务提交都是提交到default队列的。如果希望向其他队列提交任务，需要在Driver中声明：

public class WcDrvier {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

        Configuration conf = new Configuration();

        conf.set("mapreduce.job.queuename","hive");

        //1. 获取一个Job实例
        Job job = Job.getInstance(conf);

        。。。 。。。

        //6. 提交Job
        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }
}

这样，这个任务在集群提交时，就会提交到hive队列

[summer@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -D mapreduce.job.queuename=hive /testinput /testoutput/output10

17.2.4 任务优先级

  容量调度器，支持任务优先级的配置，在资源紧张时，优先级高的任务将优先获取资源。默认情况，Yarn将所有任务的优先级限制为0，若想使用任务的优先级功能，须开放该限制。

17.2.4.1 修改yarn-site.xml文件，增加以下参数

[summer@hadoop102 hadoop]$ vim yarn-site.xml

<property>
    <name>yarn.cluster.max-application-priorityname>
    <value>5value>
property>

17.2.4.2 分发配置，并重启Yarn

[summer@hadoop102 hadoop]$ xsync yarn-site.xml 

[summer@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[summer@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

17.2.4.3 模拟资源紧张环境，可连续提交以下任务，直到新提交的任务申请不到资源为止

[summer@hadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5 2000000

[summer@hadoop103 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5 2000000

17.2.4.4 再次重新提交优先级高的任务

[summer@hadoop104 ~]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi -D mapreduce.job.priority=5 5 2000000

可以看出来，修改优先级，即使排在后面，也会优先执行该任务

17.2.4.5 也可以通过以下命令修改正在执行的任务的优先级

yarn application -appID  -updatePriority 优先级

[summer@hadoop104 ~]$ yarn application -appID application_1665629739921_0002 -updatePriority 5