Hadoop之Yarn概述
Hadoop之Yarn概述
-
-
- Yarn是什么
- Yarn基础架构
- Yarn工作机制
- 回顾HDFS、YARN、MapReduce三者关系
- Yarn调度器和调度算法
-
- 先进先出调度器（FIFO）
- 容量调度器（Capacity Scheduler）
- 公平调度器（Fair Scheduler）
- Yarn常用命令
-
Yarn是什么
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
Yarn基础架构
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。
Yarn工作机制
作业提交全过程详解
（1）作业提交
第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
第2步：Client向RM申请一个作业id。
第3步：RM给Client返回该job资源的提交路径和作业id。
第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。
第5步：Client提交完资源后，向RM申请运行MrAppMaster。
（2）作业初始化
第6步：当RM收到Client的请求后，将该job添加到容量调度器中。
第7步：某一个空闲的NM领取到该Job。
第8步：该NM创建Container，并产生MRAppmaster。
第9步：下载Client提交的资源到本地。
（3）任务分配
第10步：MrAppMaster向RM申请运行多个MapTask任务资源。
第11步：RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
（4）任务运行
第12步：MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
第13步：MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
第14步：ReduceTask向MapTask获取相应分区的数据。
第15步：程序运行完毕后，MR会向RM申请注销自己。
（5）进度和状态更新
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。
（6）作业完成
除了向应用管理器请求作业进度外, 客户端每5秒都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。
回顾HDFS、YARN、MapReduce三者关系
Yarn调度器和调度算法
目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。
CDH框架默认调度器是Fair Scheduler。
先进先出调度器（FIFO）
FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。
容量调度器（Capacity Scheduler）
Capacity Scheduler是Yahoo开发的多用户调度器。
公平调度器（Fair Scheduler）
Fair Schedulere是Facebook开发的多用户调度器。
Yarn常用命令
yarn application -list #列出所有Application
yarn application -list -appStates FINISHED #列出完成的任务，其余状态包括：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED
yarn application -kill application_1670247504011_0001 # Kill掉Application
yarn logs -applicationId <ApplicationId> #查询Application日志
yarn logs -applicationId <ApplicationId> -containerId <ContainerId> #查询Container日志
yarn container -list <ApplicationAttemptId> # yarn container看容器，注：只有在任务跑的途中才能看到container的状态
yarn node -list -all #列出所有节点
yarn rmadmin -refreshQueues #加载队列配置，也可以当作刷新配置