MapReduce简单介绍

MapReduce 定义
Hadoop 中的 MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。

MapReduce 来源
Hadoop MapReduce 源于 Google 在2004年12月份发表的 MapReduce 论文。 Hadoop MapReduce 其实就是 Google MapReduce 的一个克隆版本。

MapReduce 特点
MapReduce 为什么如此受欢迎？尤其现在互联网+时代，互联网+公司都在使用MapReduce。MapReduce 之所以如此受欢迎，它主要有以下几个特点。

1)MapReduce 易于编程 。

它简单的实现一些接口，就可以完成一个分布式程序，这个分布

式程序可以分布到大量廉价的 PC 机器运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得 MapReduce 编程变得非常流行。

2)良好的 扩展性 。当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展

它的计算能力。

3. 高容错性 。MapReduce 设计的初衷就是使程序能够部署在廉价的 PC 机器上，这就要求

它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上面上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由

Hadoop 内部完成的。

4)适合 PB 级以上海量数据的 离线处理 。这里加红字体离线处理，说明它适合离线处理而不

适合在线处理。比如像毫秒级别的返回一个结果，MapReduce 很难做到。

MapReduce 虽然具有很多的优势，但是它也有不擅长的地方。这里的不擅长不代表它不能做，而是在有些场景下实现的效果差，并不适合 MapReduce 来处理，主要表现在以下几个方面。

1)实时计算。MapReduce 无法像 Mysql 一样，在毫秒或者秒级内返回结果。

2)流式计算。流式计算的输入数据时动态的，而 MapReduce 的输入数据集是静态的，不能动态变化。这是因为 MapReduce 自身的设计特点决定了数据源必须是静态的。

3)DAG（有向图）计算。多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MapReduce 并不是不能做，而是使用后，每个MapReduce 作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。

MapReduce可以拆分为map和reduce两部分，可以简单理解为分久必合
map:拆分数据
先在input split过滤一些没用的东西，剩下的传到map中，在map中数据被拆分为一块块，
在partition sort 将数据进行排序，然后将所有单元处理好的再简单的合并成一个整体，再将这个整体发送到reduce

reduce：合并数据
Reduce来计算合并数据，将Map中传过来的相同类型的数据进行一个完整的合并如下图merge，最后输出完整的数据。

-**