MapReduce工作流程

工作流程

        MapReduce启动的时候，最先启动的是MRAppMaster，MRAppMaster根据Job的描述信息，计算出Maptask的数量，申请相对应的Maptask进程。Maptask进程启动之后，根据指定的InputFormat来获取RecordReader读取数据，形成KV键值对，传递给map方法，对数据按一定的切分逻辑进行切分，结果输出到环形缓冲区中，环形缓冲区默认是100M，当超过80%的时候，就会不断的溢出到磁盘文件，在溢出前会对每个分区排序，一个MapTask可能生成一个或者多个结果文件，最后合并成一个大文件。MRAppMaster监控到所有的Maptask任务完成之后，启动指定数量的ReduceTask数量，然后从若干台maptask运行的机器上获取结果文件（shuffle），并在本地进行归并排序，相同的key为一组，调用reduce方法进行数据的聚合操作，然后调用outputformat将结果输出到外部存储。