MapReduce之Job提交流程

@

1. 准备阶段

运行Job.waitForCompletion()，先使用JobSubmitter提交Job，在提交之前，会在Job的作业目录中生成以下文件：
job.split：当前Job的切片信息，有几个切片对象
job.splitmetainfo：切片对象的属性信息
job.xml：job所有的属性配置

2. 提交阶段

本地模式
LocalJobRunner进行提交，如果是HDFS，使用了yarn，则是YARNJobRunner
创建一个LocalJobRunner.Job()
job启动：Job.start()

Map阶段

• 采用线程池提交多个MapTaskRunable线程
• 每个MapTaskRunable线程上，实例化一个MapTask对象
• 每个MapTask对象，最终实例化一个Mapper
• Mapper.run()
• 线程运行结束，会在线程的作业目录中生成 file.out文件，保存MapTask输出的所有的key-value

MapTaskRunable------>MapTask--------->Mapper--------->Mapper.run()------->Mapper.map()

阶段定义
如果有ReduceTask，MapTask运行期间，分为 map(67%)---sort(33%) 两部分
如果没有ReduceTask，MapTask运行期间，只有map(100%)
map: 使用RecordReader将切片中的数据读入到Mapper.map()，直至写出：context.write(key,value)

Reduce阶段

• 采用线程池提交多个ReduceTaskRunable线程
• 每个ReduceTaskRunable线程上，实例化一个ReduceTask对象
• 每个ReduceTask对象，实例化一个Reducer
• reducer.run()
• 线程运行结束，会在输出目录中生成part-r-000x文件，保存ReduceTask输出的所有的key-value，即最后结果

ReduceTaskRunable------->ReduceTask------>Reducer----->Reducer.run()------>Reducer.reduce()

阶段定义

• copy：使用shuffle线程拷贝MapTask指定分区的数据
• sort：将拷贝的所有的分区的数据汇总后，排序
• reduce：对排好序的数据，进行合并
• Shuffle的含义为洗牌，将Map阶段写出的数据，进行洗牌(将数据整理的有序，方便Reducer进行reduce)！
  Shuffle阶段横跨MapTask和RedcueTask，在MapTask端也有Shuffle，在RedcueTask也有Shuffle！
  具体Shuffle阶段指MapTask的map之后到RedcuceTask的reduce之前！

YARN上运行
在提交Job后，创建MRAppMaster进程！

由MRAppMaster，和RM申请，申请启动多个MapTask,多个ReduceTask

Container------>MapTask--------->Mapper--------->Mapper.run()------->Mapper.map()
Container------->ReduceTask------>Reducer----->Reducer.run()------>Reducer.reduce()