MapReduce论文精读

概述

本文主要目的是记录MapReduce论文中的核心思想，方便个人和大家进行记录和查看。MapReduce同时也是MIT 6.824的必读论文之一，希望大家能看完本文后再进行Lec1的学习。

研究意义

MapReduce的研究意义是给复杂任务的分布式实现提供了一套简单、高效的编程框架。对于分布式系统的开发人员来说，只需要实现特定的Map和Reduce接口，就可以轻松的进行分布式计算，不用关心MapReduce下底层的实现细节和运行机制。

编程模型与系统实现

编程模型

Map

Map函数可以由用户进行自定义实现，其输入为(key,value)键值对，输出为list(key, value)键值对序列。文中把Map函数的输出称为中间变量，因为该变量并不会存储到分布式文件系统GFS当中。在产生中间变量之后，MapReduce框架会将相同key值的所有value打包为list(value)，作为后续Reduce函数的输入参数。

Reduce

Reduce函数也可以由用户进行自定义实现，其输入为(key, list(value))键值对，输出为list(value), 其中key和list(value)均由Map函数生成。Reduce函数会对同一个key下面的所有value进行操作，产生出最后的结果list(value)。

示例：统计文档中所有单词的出现次数

map(String key, String value):
    // key: document name
    // value: document contents
    for each word w in value:
        EmitIntermediate