MapReduce简介——分布式运算技术

1、MapReduce概述      

 

        MapReduce作为一种分布式运算技术，最先由Google提出的分布式计算软件构架，是云计算的核心技术，也是简化的分布式编程模式。它用于大规模数据集（大于1TB）的并行运算，用来处理大量数据的分布式运算。

 

 

2、MapReduce思想

 

           MapReduce思想主要体现在Map（映射）和Reduce（化简），Map就是将一个任务分解成为多个任务，Reduce就是将分解后多任务处理的结果汇总起来，得出最后的分析结果。这不是什么新思想，其实很多技术如多线程也用的这种思想。

 

3、MapReduce 工作流程

 

 4 、实现示例

 

        

WordCount示例,这也是Hadoop自带的一个例子，目标是统计文本文件中单词的个数。

假设有如下的两个文本文件来运行WorkCount程序：

Hello World Bye World

 

Hello Hadoop GoodBye Hadoop

 

1) map数据输入

 

Hadoop针对文本文件缺省使用LineRecordReader类来实现读取，一行一个key/value对，key取偏移量，value为行内容。

如下是map1的输入数据：

Key1	Value1
0	Hello World Bye World

如下是map2的输入数据：

Key1	Value1
0	Hello Hadoop GoodBye Hadoop

 

2) map输出

 

如下是map1的输出结果

Key2	Value2
Hello	1
World	1
Bye	1
World	1

如下是map2的输出结果

Key2	Value2
Hello	1
Hadoop	1
GoodBye	1
Hadoop	1

 

3) 按照关键字分组，combine输出

Combiner类实现将相同key的值合并起来，它也是一个Reducer的实现。

如下是combine1的输出

Key2	Value2
Hello	1
World	2
Bye	1

如下是combine2的输出

Key2	Value2
Hello	1
Hadoop	2
GoodBye	1

 

4) reduce输出

Reducer类实现将相同key的值合并起来。

如下是reduce的输出

Key2	Value2
Hello	2
World	2
Bye	1
Hadoop	2
GoodBye	1

即实现了WordCount的处理。