Hadoop的MapReduce之maptask和reducetask

mapreduce就是一个分布式程序的通用框架：一个完整的mapreduce程序在分布式运行时有三类实例进程：（根据hadoop2.0以后版本进行讲述）

1、MRAppMaster：负责整个程序的过程调度及状态协调；

2、mapTask：负责map阶段的整个数据处理流程；

3、ReduceTask：负责reduce阶段的整个数据处理流程；

具体流程解析如下：

1. 一个MapReduce程序启动的时候，通过yarn的ResourceManager最先启动的是MRAppMaster，MRAppMaster启动后根据本次job的描述信息（主要是jobsplit文件，另外还包括job.xml,以及相应的程序jar文件），计算出需要的maptask实例的数量，然后向集群中申请机器启动相应数量的maptask进程；

2. maptask进程启动后，根据给定的数据切片范围进行数据处理，主要流程如下：

1）利用客户端指定的inputformat来获取RecordReader读取数据，形成输入Key-Value对；

2）将输入的Key-Value对传递给客户端定义的map（）方法，做逻辑运算，并将map（）方法输出的Key-Value对收集到缓存；

3）将缓存中的Key-Value对按照key分区排序后不断溢写spill到磁盘文件；

3. MRAppMaster监控到所有maptask进程任务完成后，会根据客户指定的参数启动相应数量的reducetask进程，并告知reducetask进程要处理的数据范围；

4. Reducetask进程启动之后，根据MRAppMaster告知的待处理数据所在的位置，从若干台maptask运行的机器上获取到若干个maptask输出结果文件，并在本地进行重新归并排序，然后按照相同的key的Key-Value对为一个组，调用客户端定义的reduce（）方法进行逻辑运算，并收集运算输出的结果Key-Value对，然后调用客户指定的outputformat将结果数据输出到外部存储；

下面画图说明一下：