Hadoop学习--Yarn
Hadoop学习–Yarn
尚硅谷Hadoop学习--Yarn
- 一.Yarn资源调度器
-
- 1.1 Yarn基础架构
- 1.2 Yarn工作机制
- 1.3 作业提交全过程
- 二. Yarn常用命令
-
- 2.1 Yarn生产环境核心参数
- 2.2 任务优先级
- 三 .总结
一.Yarn资源调度器
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
1.1 Yarn基础架构
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。
1.2 Yarn工作机制
（1）MR程序提交到客户端所在的节点。
（2）YarnRunner向ResourceManager申请一个Application。
（3）RM将该应用程序的资源路径返回给YarnRunner。
（4）该程序将运行所需资源提交到HDFS上。
（5）程序资源提交完毕后，申请运行mrAppMaster。
（6）RM将用户的请求初始化成一个Task。
（7）其中一个NodeManager领取到Task任务。
（8）该NodeManager创建容器Container，并产生MRAppmaster。
（9）Container从HDFS上拷贝资源到本地。
（10）MRAppmaster向RM 申请运行MapTask资源。
（11）RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
（13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
（14）ReduceTask向MapTask获取相应分区的数据。
（15）程序运行完毕后，MR会向RM申请注销自己。
1.3 作业提交全过程
DataNode存储数据，NameNode记录数据存储在什么位置，SecondaryNameNode负责NameNode记录 。
ResourceManager资源管理，单节点的管理由NodeManger管理。
客户端提交一个任务，提交一个程序，产生一个APP Mstr 里面有maptask和对应的reducetask，将输出结果传输在磁盘上。
二. Yarn常用命令
（1）列出所有Application：
[atguigu@hadoop102 hadoop-3.1.3]$ yarn application -list
（2）根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）
（3）Kill掉Application（杀死进程）：[atguigu@hadoop102 hadoop-3.1.3]$ yarn application -kill application_1612577921195_0001
（4）查询Application日志：yarn logs -applicationId ApplicationId
[atguigu@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001
（5）查询Application日志：yarn logs -applicationId ApplicationId
[atguigu@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001 -containerId container_1612577921195_0001_01_000001
（6）yarn applicationattempt查看尝试运行的任务
（6.1）列出所有Application尝试的列表：yarn applicationattempt -list
就是查看正在尝试运行的任务列表
（6.2）打印ApplicationAttemp状态：yarn applicationattempt -status
[atguigu@hadoop102 hadoop-3.1.3]$ yarn applicationattempt -status appattempt_1612577921195_0001_000001
**就是查看某个任务处于什么状态**
（7）yarn container查看容器
（1）列出所有Container：yarn container -list ApplicationAttemptId
[atguigu@hadoop102 hadoop-3.1.3]$ yarn container -list appattempt_1612577921195_0001_000001
（2）查询Container日志：yarn logs -applicationId ApplicationId> -containerId ContainerId
[atguigu@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001 -containerId container_1612577921195_0001_01_000001
（7）yarn node查看节点状态
列出所有节点：yarn node -list -all
（8） yarn rmadmin更新配置
加载队列配置：yarn rmadmin -refreshQueues
（9）yarn queue查看队列
打印队列信息：yarn queue -status QueueName
[atguigu@hadoop102 hadoop-3.1.3]$ yarn queue -status default
2.1 Yarn生产环境核心参数
2.2 任务优先级
容量调度器，支持任务优先级的配置，在资源紧张时，优先级高的任务将优先获取资源。默认情况，Yarn将所有任务的优先级限制为0，若想使用任务的优先级功能，须开放该限制。
1）修改yarn-site.xml文件，增加以下参数
<property>
<name>yarn.cluster.max-application-priority</name>
<value>5</value>
</property>
2）分发配置，并重启Yarn
[atguigu@hadoop102 hadoop]$ xsync yarn-site.xml
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
3）模拟资源紧张环境，可连续提交以下任务，直到新提交的任务申请不到资源为止。
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5 2000000
4）再次重新提交优先级高的任务
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi -D mapreduce.job.priority=5 5 2000000
5）也可以通过以下命令修改正在执行的任务的优先级。
yarn application -appID ApplicationID -updatePriority 优先级
[atguigu@hadoop102 hadoop-3.1.3]$ yarn application -appID application_1611133087930_0009 -updatePriority 5
三 .总结
1.Yarn工作机制
上述讲过
2.Yarn的调度器
1）FIFO/容量/公平
2）apache默认调度器 -->容量调度器 CDH默认调度器 公平调度器
3）公平/容量默认一个default，需要创建多队列
4）中小企业：hive spark fink mr
5）中大企业：业务模块：登录/注册
6) 好处：解耦 降低风险
7）每个调度器特点：
相同点：支持多队列，可以借资源，支持多用户
不同点：容量调度器：优先满足先进来的任务
公平调度器：在队列里面的任务公平享有队列资源
8）生产环境怎么选：
中小企业：对并发要求不高，选择容量
中大企业：对并发要求高，选择公平
3.开发需要重点掌握
1）队列运行原理
2）Yarn常用原理
3）核心参数的配置
4）配置容量调度器和公平调度器
5）tool接口使用