图解mapreduce&yarn的工作机制

mapreduce&yarn的工作机制----吸星大法.png

YARN：资源（linux资源隔离机制：运算资源---运算程序jar/配置文件/CPU/内存/IO--从linux中开辟出诸如内存、处理器的container虚拟容器类似docker、openstack）调度系统,负责管理资源调度和任务分配
1、mr程序提交的客户端所在的节点运行/XX/XX/XX.jar,其中的main方法submit任务后会调用YARNRUNNER类，实现了clientprotocol（总RPC协议）。因此该类可以申请提交一个application并获得application的资源路径
2、resources manager返回资源提交的路径和application_id。
3、客户端提交job运行所需要的资源文件
4、客户端通过RPC告知resources manager资源提交完毕,申请运行mr appmaster。由于一个公司有很多个作业在运行和提交，因此resources manager有一个队列，使用了FIFO调度策略
5、将用户的请求初始化成一个task，并将task放进队列，等待nodemanager来获取任务task
6、nodemanager通过心跳机制领取到task任务
7、领取到任务的nodemanager将产生一个容器container，包括cpu和ram。并且从集群中下载YARNRUNNER提交的资源到本地，并且启动 appmaster，appmaster就能读取到配置文件的相关信息，这里resources manager和nodemanager都不知道这些相关信息，只有自己的程序appmaster知道，比如切片信息、mapTask和reduceTask的数量。
8、申请运行mapTask的容器container（这个过程类似客户端申请容器container，名字默认为yarnchild）。
9、其他nodemanager从resources manager领取到任务，并且创建容器container.
10、发送程序启动脚本 java -cp...，启动程序通过cpu+ram+jar来执行mapTask代码并且输出分区且有序的文件。容错：如果有一个mapTask执行失败，请重新申请一个容器container。任务备份：一个mapTask执行慢，将重新申请container执行备份任务，取较快者。
11、appmaster想RM申请指定数量的容器，运行reduceTask程序。
12、reduce节点向所有map节点获取相应分区的数据并执行，执行完成后reduce节点会回收container容器
13、application运行完毕后，mr appmaster会向RM注销自己

本地模式和集群模式区别详情见https://blog.csdn.net/ForgetThatNight/article/details/78570234#t17 3-2-2

可以在Windows上本地跑mapreduce程序，但是需要配置环境变量

package cn.itcast.bigdata.mr.wcdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * 相当于一个yarn集群的客户端
 * 需要在此封装我们的mr程序的相关运行参数，指定jar包
 * 最后提交给yarn
 * @author
 *
 */
public class WordcountDriver {
    
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        
        //是否运行为本地模式，就是看这个参数值是否为local，默认就是local
        /*conf.set("mapreduce.framework.name", "local");*/
        
        本地模式运行mr程序时，输入输出的数据可以在本地，也可以在hdfs上
        到底在哪里，就看以下两行配置你用哪行，默认就是file:///
        /*conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
        /*conf.set("fs.defaultFS", "file:///");*/
        
        
        
        //运行集群模式，就是把程序提交到yarn中去运行
        //要想运行为集群模式，以下3个参数要指定为集群上的值
        /*conf.set("mapreduce.framework.name", "yarn");
        conf.set("yarn.resourcemanager.hostname", "mini1");
        conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
        Job job = Job.getInstance(conf);
        
        job.setJar("c:/wc.jar");
        //指定本程序的jar包所在的本地路径
        /*job.setJarByClass(WordcountDriver.class);*/
        
        //指定本业务job要使用的mapper/Reducer业务类
        job.setMapperClass(WordcountMapper.class);
        job.setReducerClass(WordcountReducer.class);
        
        //指定mapper输出数据的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        
        //指定最终输出的数据的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        
        //指定需要使用combiner，以及用哪个类作为combiner的逻辑
        /*job.setCombinerClass(WordcountCombiner.class);*/
        job.setCombinerClass(WordcountReducer.class);
        
        //如果不设置InputFormat，它默认用的是TextInputformat.class
        job.setInputFormatClass(CombineTextInputFormat.class);
        CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);
        CombineTextInputFormat.setMinInputSplitSize(job, 2097152);
        
        //指定job的输入原始文件所在目录
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        //指定job的输出结果所在目录
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        
        //将job中配置的相关参数，以及job所用的java类所在的jar包，提交给yarn去运行
        /*job.submit();*/
        boolean res = job.waitForCompletion(true);
        System.exit(res?0:1);
    }
}