MapReduce工作流程

1图片来源尚硅谷大数据课程

MapReduce流程一 MapReduce流程二

 

 流程：

1：MapTask收集从map（）方法写出的（k，v）对，由outputCollector收集写入环形缓冲区。

2：环形缓冲区默认大小100M，内存占满80%开始反向，并不断溢写出本地文件，结果可能产生多个溢写文件。

（环形缓冲区内实现快排，溢写出的文件均内部有序，第一次排序，算法：快排）

3：环形缓冲区产生的多个溢写文件，通过Merge实现合并，第二次排序，算法：归并排序

4：多个MapTask产生的多个Merge文件，通过paitition分区号分别进去不同的ReduceTask，进入时通过排序实现多文件合并，第三次排序，算法：归并排序

5：最后从合并的大文件中取出一个个（K,V）键值对的Group。

注：MapTask数量有文件分片数决定。

       ReduceTask数量有手动设置。

       环形缓冲区越大，磁盘溢写的次数越少（IO次数少），MR执行速度越快。