mapreduce原理简单叙述

概述

1. mapreduce简介
2. master运作
3. worker运作
4. 从mapreduce看分布式程序

本文假设读者对mapreduce的概念有所理解，主要讲解运行执行过程！所以至少你得知道map函数reduce函数式怎么写的。

1. mapreduce简介

mapreduce是一个分布式框架，用于大规模数据集的并行运算。简单来说，就是框架通过协作成千上万的机器来计算你的数据。这个东西大概长这个鬼样：

mapreduce运行交互图

上图可以很好的说明mapreduce是如何协作成千上万台机器的。在框架中有个叫master的角色，负责接受任务分发给workers，等待workers完成任务，即可返回给用户。是不是很简单？不错，就是这样！

特别注意一下，mapreduce是基于一个分 布式文件系统的（有个东西叫GFS）。为啥要基于一个分布式文件系统？后面会讲到。

通过mapreduce来进行计算任务，你只需要提供三个东西给master：

1. 需要计算的数据
2. map函数
3. reduce函数

master收到上面三个东东，即可开始一次mapreduce的计算过程，大概是

1. master切割需要计算的数据集A为n小片（好让每个worker计算量变小，分散计算）
2. master把任务分给worker执行map过程（每次只针对一个小片数据），输出中间结果B
3. master把任务分割worker执行reduce过程，reduce过程读取步骤2的中间结果B来计算，产生计算结果C
4. master合并计算结果C产生D返回

由上面可以看出，想要理解mapreduce的计算原理，只要知道数据ABCD是如何产生以及被计算的即可。其中最有意思的是结果B的产生，后面章节worker会讲到。

2. master运作

master的运作比较简单，主要作为任务分发，并不涉及到具体的计算任务。master主要作用是：

1. 接受worker的注册
2. 接收任务
3. 调度worker进行任务的计算，确保任务计算成功
4. 整合计算结果返回

master与worker一般位于不同的机器上，通信可以通过rpc。

3. worker运作

worker是主要计算过程的实现，而计算过程主要是map过程和reduce过程，所以这里主要讲述map过程的实现和reduce过程的实现！这里起到最要作用的就是分布式文件系统，这个文件系统主要用于存储中间计算结果。

3.1. map过程

Paste_Image.png

我们知道master已经把要计算的原始数据分片了。假如分片x需要进行map过程，分片里面的内容会被读取出来执行map函数。然后得到一个KeyValue的列表。这些KeyValue会被写入到中间临时文件中，就是上图的tmp文件。
这里有意思的是一个分片的计算中间结果会被写入到多个tmp文件中，至于写到哪个tmp文件中？hash算法出来帮忙。这样做的目的主要是为了同一个Key的计算结果保证在同一个tmp文件中。

分布式文件系统的作用？

这里的文件都是基于分布式文件系统的，所以tmp1文件可以被所有worker访问写入，这也就是分布式文件系统的贡献。

经过Map过程，同一个Key的计算结果能保证在同一个文件中。所以，reduce计算过程也就不用跨越文件去寻找Key的计算结果了。

这里有个技巧的地方就是tmp临时文件的命名。由于reduce过程需要用到这些文件，
所以我们只需要按照一定的规则命名，reduce过程直接读取就行，没必要显示式传参数。
例如：
mrtmp-{任务名}-{map任务id}-{hash id}

3.2. reduce过程

reduce过程就比较简单了，目的就是合并相同Key的结果。由于相同Key的都在同一个文件中，所以基本就是一对一：

Paste_Image.png

3.3. merge过程

这个过程就是将多个merge临时文件合并成一个结果输出。这个步骤简单到不想讲了。

4. 从mapreduce看分布式程序

从mapreduce的计算过程，我觉得有两点是对于分布式程序非常有价值的启发，虽然上面都没讲到，主要讲计算过程，哈哈。

第一点，幂等性

啥是幂等性？就是一件事你干一次和干n次结果都是一样！
为啥这里需要幂等性？
因为每一个worker都可能失联！失联？对，就是失联，不知道worker干嘛去了，反正联系不上。也许crash掉了？也许是网络抖动？不重要，联系不上你我就有可能需要叫其他worker来帮忙完成失联的worker未交待完成的任务。这时候一个任务就可能被执行两次，所以需要保证幂等性。计算多次，同一个结果！很好

第二点，容错性

啥事容错性？就是允许出错啊！这个主要是靠master来协调了。某个worker出错了master得保证把任务交给其他worker执行啊。这样worker想跪就可以放心的跪是吧，反正有别人替我完成！那么master跪了咋办？这个有点麻烦，因为master是有状态的。（保存着任务的执行状态，worker状态），所以master跪了是一件很麻烦的事情，后续会继续关注有状态的节点的容错性！