任务/资源管理_Yarn

目录

0 参考列表

1 概念

1.1 系统架构

1.2 调度策略

2 运行流程

3 使用

3.1 访问

3.2 命令

4 问题

---

0 参考列表

CSDN:yarn工作原理https://blog.csdn.net/skylibiao/article/details/85713246

1 概念

        Yarn是一款分布式资源管理和任务调度系统.

1.1 系统架构

        (1) ResourceManager(RM):负责整个分布式系统的资源管理和调度.处理来自client端的请求;监控NodeManager的情况;启动/监控Application Master.

        (2) NodeManager(NM):负责该节点的资源管理和调度.它会定期向ResourceManager汇报本节点资源的使用情况;接受并处理来自ResourceManager对于Container的启动、停止等各种请求.

        (3) ApplicationMaster(AM):每个提交的作业都会产生一个对应的Application Master,来负责应用程序的管理.为当前应用程序向ResourceManager去申请资源,并分配给具体的任务;监控任务及重试失败任务.

        (4) Container:Application Master向ResourceManager申请的资源,以及任务运行所需的环境变量和队任务运行情况的描述.

1.2 调度策略

        (1) 队列调度(FIFO Scheduler):把应用按提交的顺序排成一个队列,先提交的应用先分配资源,待前面的的应用需求满足后再给下一个分配.集群使用率较高,小作业不能及时完成,不适合共享集群.

        (2) 计算能力调度(Capacity Scheduler):多个组织共享整个集群的资源,每个组织获得集群的一部分资源;为每个组织分配专门的队列,分配一定的集群资源.在一个队列内,使用队列调度策略对应用进行调度.集群资源使用率较低,大作业的执行时间更长.

        (3) 公平调度(Fair Scheduler):不需要预先占用一定的系统资源,调度器会为所有运行的任务动态分配资源.集群使用率较高,又保证小作业能及时完成.

2 运行流程

        (1) 客户端向ResourceManager提交作业,ResourceManager会为这个作业分配一个Container.

        (2) ResourceManager与NodeManager通信,要求NodeManger在container上启动应用程序的Application Master.

        (3) Application Master向ResourceManager注册并申请资源,然后ResourceManager通过资源调度器异步为各个任务分配资源.

        (4)Application Master申请到资源后,就和NodeManager通信,要求NodeManager启动任务.

        (5) 任务运行期间,Application Master对任务进行监控.

        (6) 任务运行结束后,Application Master向ResourceManager注销自己,以回收属于它的容器.

3 使用

3.1 访问

        进程:NodeManager,ResourceManager

        页面:{ip}:8088/ui2/#/cluster-overview

3.2 命令

        查看所有任务:yarn application  -list

        杀死任务:yarn application -kill 任务id

4 问题

        (1) org.apache.hbase.thirdparty.io.netty.channel.AbstractChannel$AnnotatedConnectException: 拒绝连接: node02.com/ip:17020

        解决方案

CSDN:Yarn timeline service v2.0启动成功但查询日志报错：AbstractChannel$AnnotatedConnectException: Connection refusedhttps://blog.csdn.net/u011940366/article/details/107207455/