MapReduce编程思想通俗理解

综述

Map(映射)与Reduce(化简)来源于LISP和其他函数式编程语言中的古老的映射和化简操作,MapReduce操作数据的最小单位是一个键值对。用户在使用MapReduce编程模型的时候,第一步就需要将数据抽象为键值对的形式,接着map函数会以键值对作为输入,经过map函数的处理,产生一系类新的键值对作为中间结果输出到本地。MapReduce计算框架会自动将这些中间结果数据按照键做聚合处理,并将键相同的数据分发给reduce函数处理(用户可以设置分发规则)。reduce函数以键和对应的值的集合作为输入,经过reduce函数的处理后,产生了另外一系列键值对作为最终输出。
如果用表达式表示,其过程如下式所示。
{Key1, Value1} → {Key2, List} → {Key3, Value3}

简单案例

读者可能觉得上面的描述和表达式非常抽象,那么让我们先来看一个例子。有一篮苹果,一些是红苹果,一些是青苹果,每个苹果有一个唯一编号,如图4-1所示,要解决的问题是统计该篮苹果的数目、红苹果(深色)的个数和青苹果(浅色)的个数。

MapReduce编程思想通俗理解_第1张图片

图4-1 红苹果和青苹果
假设有A、B、C三个人,A获得第一排苹果,B获得第二排苹果,这时,A和B分别统计自己手上的苹果的个数,然后将结果告知C,C将A、B的结果做一次汇总,得到最后结果。对于这个过程,其实用到了MapReduce的思想。我们可以从图4-2看出端倪。

MapReduce编程思想通俗理解_第2张图片

图4-2 用MapReduce的思想完成苹果计数

A的map函数的输入的格式为键值对appleId-count,比如“11-1”表示appleId为11的苹果个数为1,经过map函数的累和,即将所有appleId的count相加,输出为新的键值对AppleCount-6,此时B也进行同样的操作,由于A和B的map函数输出的键值对的键相同,都为“AppleCount”,所以MapReduce框架会将其都分发到C作为reduce函数的输入,并在reduce函数中完成对键相同的值的累和,并输出最后结果AppleCount-12。如果用表达式表示,即为:
{appleId, count} → {AppleCount, List} → {AppleCount, count}
在这个例子中,就是用MapReduce的思想来完成苹果计数的问题,细心的读者可能发现,这个例子中reduce函数只执行了一次,是否可以执行多次呢,答案是肯定的,下面来看用MapReduce思想解决对红苹果和青苹果分别计数的问题。
假设有A、B、C、D四个人,A获得第一排苹果,B获得第二排苹果,A将手上的红苹果给C、青苹果给D,B将手上的红苹果给C、青苹果给D。C、D再统计各自手上的结果,得到最后结果,如图4-3所示。

MapReduce编程思想通俗理解_第3张图片

图4-3 用MapReduce完成苹果颜色统计

A的map函数的输入同上次一样,在map函数中,用color和appleId作为新的键值对重新输出,B也做同样的操作。而A、B的map函数的输出的键值对会因为不同的键被分别分发到C和D执行reduce函数,而真正的计数是由reduce函数完成,并输出最后结果。这里reduce函数一共执行了两次,第一次是处理键为Red的数据,第二次是处理键为Green的数据。如果用表达式表示,即为:
{appleId, count} → {color, List} → {color, count}

总结

要理解MapReduce的编程思想,其核心的一点就是将数据用键值对表示。
在现实生活中,很多数据要么本身就为键值对的形式,要么可以用键值对这种方式来表示,例如电话号码和通话记录,文件名和文件存储的数据等,键值对并不是高端数据挖掘独有的数据模型,而是存在于我们身边非常普通的模型。

利用分而治之的思想,可以将很多复杂的数据分析问题转变为一系列MapReduce作业,利用Hadoop的提供MapReduce计算框架,实现分布式计算,这样就能对海量数据进行复杂的数据分析,这也是MapReduce的意义所在。

你可能感兴趣的:(MapReduce编程思想通俗理解)