Yarn工作机制？思维导图 代码示例（java 架构)

YARN 工作机制

YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。以下是关于YARN工作机制的详细介绍：

YARN 架构组件

1. ResourceManager (RM)：

   • 管理整个集群的资源分配。
   • 负责启动和监控ApplicationMaster。

2. NodeManager (NM)：

   • 每个节点上的代理，负责容器的生命周期管理。
   • 监控并报告节点健康状况给ResourceManager。

3. ApplicationMaster (AM)：

   • 每个应用程序都有一个ApplicationMaster实例。
   • 向ResourceManager请求资源，并与NodeManager通信以启动和监控任务。

4. Container：

   • 由NodeManager管理的资源隔离环境。
   • 包含CPU、内存等资源，用于运行具体的任务。

YARN 工作流程

1. 客户端提交作业：

   • 用户通过命令行或API提交作业到ResourceManager。

2. ResourceManager分配Container给ApplicationMaster：

   • ResourceManager根据可用资源为ApplicationMaster分配一个Container。

3. 启动ApplicationMaster：

   • NodeManager在分配的Container中启动ApplicationMaster进程。

4. ApplicationMaster注册到ResourceManager：

   • ApplicationMaster向ResourceManager注册自己，并开始请求更多资源。

5. ApplicationMaster请求资源：

   • ApplicationMaster根据应用程序需求向ResourceManager请求更多Container来运行任务。

6. ResourceManager分配Container给ApplicationMaster：

   • ResourceManager将Container分配给ApplicationMaster，用于运行Map/Reduce任务或其他类型的任务。

7. ApplicationMaster启动任务：

   • ApplicationMaster在获得的Container中启动具体任务。

8. 任务执行：

   • Map/Reduce任务在NodeManager上执行，处理数据并将结果写入HDFS。

9. 状态更新和进度报告：

   • 任务定期向ApplicationMaster汇报进度，ApplicationMaster汇总后向ResourceManager报告。

10. 完成作业：

    • 当所有任务完成后，ApplicationMaster清理工作并向ResourceManager注销自己。

11. 通知客户端：

    • ApplicationMaster告知客户端作业已完成。

思维导图结构化表示

YARN Work Mechanism
├── Architecture Components
│   ├── ResourceManager (RM)
│   │   └── 管理集群资源分配，启动和监控ApplicationMaster
│   ├── NodeManager (NM)
│   │   └── 节点上的代理，管理容器生命周期，监控节点健康状况
│   ├── ApplicationMaster (AM)
│   │   └── 请求资源并与NodeManager通信启动和监控任务
│   └── Container
│       └── 资源隔离环境，包含CPU、内存等资源
└── Work Flow
    ├── 客户端提交作业
    ├── ResourceManager分配Container给ApplicationMaster
    ├── 启动ApplicationMaster
    ├── ApplicationMaster注册到ResourceManager
    ├── ApplicationMaster请求资源
    ├── ResourceManager分配Container给ApplicationMaster
    ├── ApplicationMaster启动任务
    ├── 任务执行
    ├── 状态更新和进度报告
    ├── 完成作业
    └── 通知客户端

Java代码示例：提交YARN应用

以下是一个简化版的Java代码片段，演示了如何使用YARN API提交一个简单的MapReduce作业。请注意，这只是一个框架性的示例，实际应用中需要实现具体的Mapper和Reducer逻辑。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class YarnAppSubmitter {

  public static void main(String[] args) throws Exception {
    // 设置作业配置
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(YarnAppSubmitter.class);
    
    // 设置Mapper和Reducer类
    job.setMapperClass(TokenizerMapper.class);
    job.setReducerClass(IntSumReducer.class);

    // 设置键值对类型
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

    // 设置输入输出路径
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    // 提交作业并等待完成
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

这段代码展示了如何创建和配置一个MapReduce作业，并将其提交给YARN集群。TokenizerMapper和IntSumReducer是用户定义的Mapper和Reducer类，它们实现了具体的数据处理逻辑。如果您想了解更详细的代码实现，请提供更多的细节或者指定您想要了解的具体部分。

进一步优化和高级特性

对于更复杂的场景，您可以考虑以下几点来进一步优化YARN应用程序：

• 调整资源配置：根据作业需求调整Container大小（如内存、CPU核心数），确保合理分配资源。
• 启用压缩：对中间数据启用压缩可以减少磁盘I/O和网络传输的数据量。
• 使用Combiner：如果可能的话，在Mapper端应用Combiner来预先汇总数据，从而减少传输到Reducer的数据量。
• 配置调度器策略：选择适合的调度器（如Capacity Scheduler或Fair Scheduler），并根据业务需求进行参数调优。
• 管理数据本地性：尽量让计算靠近数据存储的位置执行，以减少网络传输开销。

这些优化措施可以帮助提高YARN应用程序的性能和效率。如果您有特定的需求或遇到的问题，请提供更多细节以便给出更有针对性的建议。