hadoop-yarn简介及常用命令详解（超详细）

---

前言

在大数据处理和分布式计算领域，Hadoop是一个重要的开源框架。其中，YARN（Yet Another Resource Negotiator）作为Hadoop生态系统中的资源管理框架，扮演着关键的角色。本文将详细介绍Hadoop-YARN的概述、架构、特点和原理，并提供常用命令的详细解释。

hadoop安装教程：hadoop安装与配置-shell脚本一键安装配置（集群版）

---

一、YARN概述

1. YARN简介

Hadoop-YARN是Apache Hadoop生态系统中的一个集群资源管理器。它作为Hadoop的第二代资源管理框架，负责管理和分配集群中的计算资源。YARN的设计目标是提供一个通用的资源管理框架，使得Hadoop集群可以同时运行多个计算框架，如MapReduce、Apache Spark、Apache Flink等。通过将集群资源和计算任务分离，YARN实现了更高的资源利用率和更好的集群资源管理。

2. YARN架构

Hadoop-YARN的架构包括以下组件：

(1) ResourceManager（资源管理器）

ResourceManager是YARN集群的主要组件，负责整个集群的资源管理和分配。它有两个关键角色：调度器（Scheduler）和应用程序管理器（ApplicationManager）。

• 调度器负责将集群中的资源分配给不同的应用程序。它根据资源请求、优先级和调度策略来决定如何分配资源。调度器可以使用不同的调度算法，如容量调度器（Capacity Scheduler）或公平调度器（Fair Scheduler）。

• 应用程序管理器负责接收来自客户端的作业提交请求，并与调度器协商资源。一旦应用程序被接受，应用程序管理器会为该应用程序分配一个ApplicationMaster。

(2) NodeManager（节点管理器）

NodeManager是每个集群节点上的代理，负责管理该节点上的资源。它接收来自ResourceManager的指令，并执行以下任务：

• 启动和监控容器（Container）：容器是YARN中的一个抽象概念，它是一组资源（如内存、CPU等）的封装。NodeManager根据ResourceManager的指令启动和监控容器，为应用程序提供所需的资源。

• 报告节点的资源使用情况：NodeManager定期向ResourceManager报告节点的资源使用情况，包括可用资源和已使用资源。

(3) ApplicationMaster（应用程序管理器）

每个应用程序在YARN中都有一个ApplicationMaster，它负责与ResourceManager协商资源，并与NodeManager一起管理应用程序的执行。

• 向ResourceManager请求资源：ApplicationMaster根据应用程序的需求向ResourceManager请求资源。它可以动态地请求和释放资源，根据应用程序的需求进行灵活的资源调整。

• 与NodeManager协调任务执行：一旦资源被分配给应用程序，ApplicationMaster与NodeManager协调任务的执行。它可以启动、监控和管理任务容器，并与NodeManager通信以获取任务的执行状态。

3. YARN特点

Hadoop-YARN具有以下特点：

(1) 分布式资源管理

YARN提供了分布式资源管理的能力，可以有效地管理和分配集群中的计算资源。它将集群资源（如内存、CPU等）与计算任务（如MapReduce作业）分离，实现了更高的资源利用率和更好的集群资源管理。

(2) 多框架支持

YARN设计为通用的资源管理框架，可以同时运行多个计算框架，如MapReduce、Apache Spark、Apache Flink等。这意味着在同一个集群上可以运行不同的计算框架，根据不同的需求选择最适合的框架进行数据处理和分析。

(3) 灵活的资源调度

YARN提供了灵活的资源调度机制，可以根据应用程序的需求动态分配和调整资源。它支持不同的调度算法，如容量调度器（Capacity Scheduler）和公平调度器（Fair Scheduler），可以根据优先级、资源请求和调度策略来决定资源的分配。

(4) 高可靠性和容错性

YARN具有高可靠性和容错性的特点。它通过监控和管理应用程序的执行，可以检测和处理节点故障、任务失败等情况。当节点或任务发生故障时，YARN可以自动重新分配资源和重新执行任务，确保作业的完成和数据的一致性。

(5) 可扩展性

YARN的设计目标之一是可扩展性，它可以适应不断增长的数据规模和计算需求。通过添加更多的节点和资源，YARN可以扩展到大规模的集群，处理更多的数据和作业。

(6) 安全性

YARN提供了安全性机制，可以保护集群中的数据和应用程序免受未经授权的访问和恶意操作。它支持身份验证、授权和审计等安全功能，确保集群的安全性和数据的保护。

---

二、YARN命令介绍

1. YARN命令简介

YARN提供了一组命令行工具，用于管理和监控YARN应用程序和集群。

2. yarn application命令

(1) yarn application命令的基本语法

yarn application命令的基本语法如下：

yarn application [genericOptions] [command] [commandOptions]

(2) 常用的yarn application命令选项

yarn application命令常用选项和参数如下：

• -list：列出所有正在运行的应用程序。
• -status ：获取指定应用程序的状态。
• -kill ：终止指定的应用程序。
• -movetoqueue ：将指定应用程序移动到指定队列。
• -queue ：列出指定队列中的应用程序。

3. yarn node命令

(1) yarn node命令的基本语法

yarn node命令的基本语法如下：

yarn node [genericOptions] [command] [commandOptions]

(2) 常用的yarn node命令选项

yarn node命令常用选项和参数如下：

• -list：列出所有节点的状态和资源使用情况。
• -status ：获取指定节点的状态和资源使用情况。
• -decommission ：将指定节点标记为退役状态。
• -refreshNodes：刷新节点列表。

4. yarn queue命令

(1) yarn queue命令的基本语法

yarn node命令的基本语法如下：

yarn queue [genericOptions] [command] [commandOptions]

(2) 常用的yarn queue命令选项

yarn queue命令常用选项和参数如下：

• -status ：获取指定队列的状态和资源使用情况。
• -list：列出所有队列的状态和资源使用情况。

5. yarn logs命令

(1) yarn logs命令的基本语法

yarn logs命令的基本语法如下：

yarn logs [genericOptions] [command] [commandOptions]

(2) 常用的yarn logs命令选项

yarn logs命令常用选项和参数如下：

• -applicationId ：指定要获取日志的应用程序ID。
• -containerId ：指定要获取日志的容器ID。
• -nodeAddress ：指定要获取日志的节点地址。

6. yarn rmadmin命令

(1) yarn rmadmin命令的基本语法

yarn rmadmin命令的基本语法如下：

yarn rmadmin [genericOptions] [command] [commandOptions]

(2) 常用的yarn rmadmin命令选项

yarn rmadmin命令常用选项和参数如下：

• -refreshQueues：刷新队列配置。
• -refreshNodes：刷新节点列表。
• -refreshSuperUserGroupsConfiguration：刷新超级用户组配置。

---

三、YARN常用命令

下面是一些常用的YARN命令及其用法：

1. 列出所有正在运行的应用程序

yarn application -list

该命令将列出所有正在运行的应用程序。

2. 获取指定应用程序的状态

yarn application -status application_1234567890_0001

该命令将获取应用程序ID为application_1234567890_0001的应用程序的状态。

3. 终止指定的应用程序

yarn application -kill application_1234567890_0001

该命令将终止应用程序ID为application_1234567890_0001的应用程序。

4. 将指定应用程序移动到指定队列

yarn application -movetoqueue application_1234567890_0001 root.queue1

该命令将将应用程序ID为application_1234567890_0001的应用程序移动到名为root.queue1的队列。

5. 列出指定队列中的应用程序

yarn application -queue root.queue1

该命令将列出名为root.queue1的队列中的应用程序。

6. 列出所有节点的状态和资源使用情况

yarn node -list

该命令将列出集群中所有节点的状态和资源使用情况。

7. 获取指定节点的状态和资源使用情况

yarn node -status node1

该命令将获取名为node1的节点的状态和资源使用情况。

8. 将指定节点标记为退役状态

yarn node -decommission node2

该命令将将名为node2的节点标记为退役状态。

9. 刷新节点列表

yarn node -refreshNodes

该命令将刷新节点列表，更新集群中的节点信息。

10. 获取指定队列的状态和资源使用情况

yarn queue -status root.default

该命令将获取名为root.default的队列的状态和资源使用情况。

11. 列出所有队列的状态和资源使用情况

yarn queue -list

该命令将列出所有队列的状态和资源使用情况。

12. 指定要获取日志的应用程序ID

yarn logs -applicationId application_1234567890_0001

该命令将获取应用程序ID为application_1234567890_0001的应用程序的日志。

13. 指定要获取日志的容器ID

yarn logs -containerId container_1234567890_0001_01_000001

该命令将获取容器ID为container_1234567890_0001_01_000001的容器的日志。

14. 指定要获取日志的节点地址

yarn logs -nodeAddress node1.example.com

该命令将获取位于node1.example.com节点上的应用程序的日志。

15. 刷新队列配置

yarn rmadmin -refreshQueues

该命令将刷新队列配置，更新队列的相关信息。

16. 刷新节点列表

yarn rmadmin -refreshNodes

该命令将刷新节点列表，更新集群中的节点信息。

17. 刷新超级用户组配置

yarn rmadmin -refreshSuperUserGroupsConfiguration

该命令将刷新超级用户组配置，更新超级用户组的相关信息。

---

总结

本文详细介绍了YARN的概述、架构、特点和原理，并提供了常用命令的详细解释。YARN作为Hadoop生态系统中的重要组件，具有分布式资源管理、多框架支持、灵活的资源调度、高可靠性和容错性、可扩展性以及安全性等特点。通过合理使用YARN命令，可以更好地管理和监控YARN应用程序和集群，提高大数据处理和分布式计算的效率。

希望本文对您有所帮助！如有任何疑问或问题，请随时在评论区留言。感谢阅读！