2 MapReduce

1.MapReduce概述

1.设计理念

Paste_Image.png

把代码拷贝到节点上，而不是拷贝数据。

2.计算框架

Paste_Image.png

数据来源于HDFS的block。

Paste_Image.png

解读：图为统计文本中单词出现次数

• 一共4个步骤：spliting/mapping/shuffing/reducing
• split把输入文件分割（但不一定是按行分割）
• map从split的结果取出单词，单词为键，值为1,形成键值对的形式
• shuffling把相同的单词合并
• reduce把结果汇总，值相加（reduce也可能只有一个，汇总时先统计Bear，再统计Car……）

3.Shuffler

Paste_Image.png

其框架如下：

Paste_Image.png

• map后的数据存放在内存中，经过分区和排序，再溢写到磁盘中（此任务在map所在当前节点本地完成）
• partition分区就是把map的数据分成一个个部分，规则由程序员指定，默认由哈希模运算分区，分区的目的是把map的输出数据进行负载均衡
• sort比较规则为按照ASCII码大小进行比较
• merge on disk：合并到磁盘，默认规则为按照哈希值进行合并
• 分区在把数据传入reduce的时候起作用。例如：分区在0区，就传给第1个reduce；在1区，就传给第2个reduce……

Paste_Image.png

Paste_Image.png

主要考点：partition/sort/combiner，combiner可以没有。
上面统计单词个数的框架中，map阶段就可以使用combiner，使第2个map中的(car,1)(car,1)变成(car,2)。
下图为reduce的工作流程：

Paste_Image.png

过程如上上图所说，reduce从task tracker拷贝数据，存入内存缓冲区中，満了就溢写到disk中，再合并成一个大文件（合并规则是按照键进行合并），然后作为reduce的输出。

4.split

split为把block切割成一个个片段。

Paste_Image.png

上图前3行为说明，最后一行为计算split大小的算法：先取max.split和block的最小值，再取min.split和刚才得到的最小值的最大值。

5.JobTracker和TaskTracker

Paste_Image.png

• JobTracker在2.x版本后就没有了
• TaskTracker负责执行每一个任务是指map任务或reduce任务
• JobTracker可以运行在任何节点，而TaskTracker一般运行在DataNode上