Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程

一. 版本环境

     以前工作的过程中,陆陆续续看过一些Hadoop1.0 MapReduce的源码,但没有形成体系。现在再次来看,顺便记录。此次学习版本的是Hadoop2.2.0 MapReduce。环境为直接在Win7下Local模式调试。MapReduce。

 

二. Job提交流程

     从Job waitForCompletion开始

1 Job submit

1.1 JobSubmitter submitJobInternal

1.1.1 JobSubmissionFiles.getStagingDir 初始化Job系统工作目录jobStagingArea。如D:\tmp\hadoop-root\mapred\staging\rootXXXXXXXXXX\.staging。

1.1.2 获得JobID。如job_localXXXXXXXXXX_0001。

1.1.3 copyAndConfigureFiles copy Job Jar到submitJobDir = new Path(jobStagingArea, jobId.toString())。

1.1.4 writeSplits,将input划分为split,并将split数据和split元数据写入系统工作目录,最后返回split的数目。input如下Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程_第1张图片

1.1.4.1 调用TextInputFormat getSplits方法获得split,集群环境BlockSize为128M,所以145M的test-data.txt被划分为两个split。相关算法自己去看,提供两个数据BlockLocation[0,134217728,201slave,203slave,202slave, 134217728,18093772,201slave,203slave,202slave],InputSplit[hdfs://192.168.1.200:9000/user/root/input/test-data.txt:0+134217728, hdfs://192.168.1.200:9000/user/root/input/test-data.txt:134217728+18093772]

1.1.4.2 JobSplitWriter.createSplitFiles将split数据和split元数据写入系统工作目录。

1.1.5 writeConf,将配置文件写到系统工作目录。此时系统工作目录如下Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程_第2张图片

1.1.6 LocalJobRunner submitJob

1.1.6.1 new Job

1.1.6.1.1 Job初始化

1.6.1.1.1.1 systemJobDir就是上面的submitJobDir,systemJobFile = submitJobDir\job.xml

1.1.6.1.1.2 将配置文件写入本地工作目录localJobDir\localJobFile。如D:\tmp\hadoop-root\mapred\local\localRunner\root\job_localXXXXXXXXXX_0001\job_localXXXXXXXXXX_0001.xml。此时,本地工作目录如下Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程_第3张图片

1.1.6.1.2 Job run

 

三. Job run流程

 

     Job run方法很大,是整个Job执行的核心框架,自定义的Mapper和Reduce都会在这里被调起。我把这个方法单独拿出来说。

1 创建OutputCommitter

2 从系统工作目录split数据和元数据文件里获得split信息TaskSplitMetaInfo[]

3 根据TaskSplitMetaInfo[]创建List,显然会有两个MapTaskRunnable

4 ExecutorService运行每个MapTaskRunnable

4.1创建MapTask并执行run

4.2 runNewMapper

4.2.1 反射创建自定义的Mapper mapper

4.2.2 反射创建InputFormat

4.2.3 从系统工作目录文件里获得此MapTask的split

4.2.4 反射创建RecordReader

4.2.5 反射创建RecordWriter output

4.2.6 创建MapContextImpl

4.2.7 mapper.run(mapperContext),可能涉及到数据的spill。

4.2.8 output.close(mapperContext),涉及到数据的sort spill combin merge。

5 等待每个MapTaskRunnable运行完。但两个MapTaskRunnable都运行完,如下图Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程_第4张图片

6 将Mapper的结果mv & rename到Reduce的本地工作目录,此时Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程_第5张图片

7 创建ReduceTask并执行run

7.1 merge & sort

7.2 runNewReducer

7.2.1 反射创建Reducer

7.2.2 反射创建RecordWriter,准备好临时目录流。参考类FileOutputFormat

/**
   * Get the default path and filename for the output format.
   * @param context the task context
   * @param extension an extension to add to the filename
   * @return a full path $output/_temporary/$taskid/part-[mr]-$id
   * @throws IOException
   */
  public Path getDefaultWorkFile(TaskAttemptContext context,
                                 String extension) throws IOException{
    FileOutputCommitter committer = 
      (FileOutputCommitter) getOutputCommitter(context);
    return new Path(committer.getWorkPath(), getUniqueFile(context, 
      getOutputName(context), extension));
  }

 

7.2.3 调用自己的Reduce,将结果输出到临时目录下

   
Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程_第6张图片

8 OutputCommitter将Reduce的结果mv到output下Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程_第7张图片

9 清理以下目录

9.1 系统工作目录systemJobFile.getParent()

9.2 本地工作目录localJobFile 

 

四. 大流程

     最后用一张图总结本文

Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程_第8张图片

 

       再补充一下:本地MapReduce执行时  ,有几个线程来运行MapTask
int maxMapThreads = job.getInt(LOCAL_MAX_MAPS, 1);

maxMapThreads = Math.min(maxMapThreads, this.numMapTasks);
maxMapThreads = Math.max(maxMapThreads, 1); // In case of no tasks.

ExecutorService executor = Executors.newFixedThreadPool(maxMapThreads, tf);
   实际上就是 Math.max(Math.min(maxMapThreads, this.numMapTasks), 1)

 

     不断学习不断补充

     当map和reduce同时存在时,map的结果先flush到硬盘上,reduce时以此为输入,计算完后由FileOutputFormat直接写到临时目录里,最后OutputCommitter将此结果mv到output下;

     如果只有map没有reduce阶段即 job.setNumReduceTasks(0)时又如何。这个时候map的计算结果将通过FileOutputFormat直接写到临时目录里,最后OutputCommitter将此结果mv到output下。

MapTask.runNewMapper

// get an output object
    if (job.getNumReduceTasks() == 0) {
      output = 
        new NewDirectOutputCollector(taskContext, job, umbilical, reporter);
    } else {
      output = new NewOutputCollector(taskContext, job, umbilical, reporter);
    }

NewDirectOutputCollector and NewOutputCollector all extends from RecordWriter, different RecordWriter decision to different wirtelocation

 

 

 

你可能感兴趣的:(Hadoop,大数据)