【云计算】MapReduce工作原理 - 详解图

【云计算】MapReduce工作原理 - 详解图

  • 1. MapReduce的工作原理如下图所示
  • 2.分析
    • 2.1整体分析
    • 2.2举例分析

1. MapReduce的工作原理如下图所示

此文介绍Google引爆大数据时代的三篇论文之一MapReduce

Google大数据处理的3篇核心论文
《The Google File System》:http://research.google.com/archive/gfs.html
《MapReduce: Simplified Data Processing on Large Clusters》:http://research.google.com/archive/mapreduce.html
《Bigtable: A Distributed Storage System for Structured Data》:http://research.google.com/archive/bigtable.html

【云计算】MapReduce工作原理 - 详解图_第1张图片

2.分析

2.1整体分析

Map有映射的意思,reduce则为减少

针对MapReduce整个过程简单概括是将一个大数据计算任务通过分片成子任务,再将子任务映射到map工作处理,在通过中间过程的处理输出给reduce,reduce再将处理结果汇总。有大到小处理,再将小处理结果整合, 这也正是分治思想的本质。

由于过程仅依靠语言分析不够清晰,对此我绘制如下图进行分析说明。

【云计算】MapReduce工作原理 - 详解图_第2张图片

2.2举例分析

这里采用词频分析进行数据在每个模块变化进行分析

【云计算】MapReduce工作原理 - 详解图_第3张图片
如需原图可私嚯,貌似放上去不是辣么清楚(ㄒoㄒ)~

你可能感兴趣的:(云计算)