三、MapReduce编程模型与计算框架

MapReduce 既是一个编程模型，又是一个计算框架。也就是说，开发人员基于 MapReduce 编程模型进行编程开发，然后将程序通过 MapReduce 计算框架分发到 Hadoop 集群中运行。

MapReduce编程模型

MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。

MapReduce 是一种非常简单又非常强大的编程模型。
简单在于其编程模型只包含 Map 和 Reduce 两个过程，map的输入是一对值，经过 map 计算后输出一对值；然后将相同 Key 合并，形成；再将这个输入 reduce，经过计算输出零个或多个对。
强大之处又在于它可以实现大数据领域几乎所有的计算需求。大数据计算框架也基本都遵循 MapReduce编程模型。

MapReduce计算框架

在实践中，这个过程有两个关键问题需要处理。
1、如何为每个数据块分配一个 Map 计算任务，也就是代码是如何发送到数据块所在服务器的，发送后是如何启动的，启动以后如何知道自己需要计算的数据在文件什么位置（BlockID 是什么）。
2、处于不同服务器的 map 输出的，如何把相同的 Key 聚合在一起发送给 Reduce 任务进行处理。

统计一个文件（单个block）各单词的出现的次数图解

mapreduce.png

统计一个文件（多个block）各单词的出现的次数图解

image.png

Map与Reduce的编码

public class WordcountMapper extends Mapper {

    private Text outKey = new Text();
    private IntWritable outValue = new IntWritable(1);

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        String[] words = line.split(" ");
        for (String word : words) {
            outKey.set(word);
            context.write(outKey, outValue);
        }
    }
}

public class WordcountReducer extends Reducer {

    private IntWritable outValue = new IntWritable(1);

    @Override
    protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable value : values) {
            sum += value.get();
        }
        outValue.set(sum);
        context.write(key, outValue);
    }
}

MapReduce 作业启动和运行机制

这里以 Hadoop 1 为例，MapReduce 运行过程不是一个进程完成的，它涉及三类关键进程：

大数据应用进程。这类进程是启动 MapReduce 程序的主入口，主要是指定 Map 和 Reduce 类、输入输出文件路径等，并提交作业给 Hadoop 集群，也就是下面提到的 JobTracker 进程。这是由用户启动的 MapReduce 程序进程。

2.JobTracker 进程。这类进程根据要处理的输入数据量，命令下面提到的 TaskTracker 进程启动相应数量的 Map 和 Reduce 进程任务，并管理整个作业生命周期的任务调度和监控。这是 Hadoop 集群的常驻进程，需要注意的是，JobTracker 进程在整个 Hadoop 集群全局唯一。

3.TaskTracker 进程。这个进程负责启动和管理 Map 进程以及 Reduce 进程。因为需要每个数据块都有对应的 map 函数，TaskTracker 进程通常和 HDFS 的 DataNode 进程启动在同一个服务器。也就是说，Hadoop 集群中绝大多数服务器同时运行 DataNode 进程和 TaskTracker 进程。

JobTracker 进程和 TaskTracker 进程是主从关系。
主服务器只有一台（通常是3台，真正起作用的只有一台，另外两台作为备份），从服务器可能有上千台，所有的从服务器听从主服务器的控制和调度安排。主服务器负责为应用程序分配服务器资源以及作业执行的调度，而具体的计算操作则在从服务器上完成。

作业启动和运行机制

image.png

应用进程 JobClient 将用户作业 JAR 包存储在 HDFS 中，将来这些 JAR 包会分发给 Hadoop 集群中的服务器执行 MapReduce 计算。
应用程序提交 job 作业给 JobTracker。

3.JobTracker 根据作业调度策略创建 JobInProcess 树，每个作业都会有一个自己的 JobInProcess 树。

4.JobInProcess 根据输入数据分片数目（通常情况就是数据块的数目）和设置的 Reduce 数目创建相应数量的 TaskInProcess。

5.TaskTracker 进程和 JobTracker 进程进行定时通信。

如果 TaskTracker 有空闲的计算资源（有空闲 CPU 核心），JobTracker 就会给它分配任务。分配任务的时候会根据 TaskTracker 的服务器名字匹配在同一台机器上的数据块计算任务给它，使启动的计算任务正好处理本机上的数据（移动计算比移动数据更划算）。

一台服务器可能有文件的多个分片，那么 TaskTracker 是否可以接收同一个 Job的多个 Map计算任务呢？

7.TaskTracker 收到任务后根据任务类型（是 Map 还是 Reduce）和任务参数（作业 JAR 包路径、输入数据文件路径、要处理的数据在文件中的起始位置和偏移量、数据块多个备份的 DataNode 主机名等），启动相应的 Map 或者 Reduce 进程。

8.Map 或者 Reduce 进程启动后，检查本地是否有要执行任务的 JAR 包文件，如果没有，就去 HDFS 上下载，然后加载 Map 或者 Reduce 代码开始执行。

如果是 Map 进程，从 HDFS 读取数据（通常要读取的数据块正好存储在本机）；如果是 Reduce 进程，将结果数据写出到 HDFS。

通过这样一个计算旅程，MapReduce 可以将大数据作业计算任务分布在整个 Hadoop 集群中运行，每个 Map 计算任务要处理的数据通常都能从本地磁盘上读取到。
开发人员则只需要按照 MapReduce 编程模型编写一个 map 函数和一个 reduce 函数就差不多可以了，根本不用关心这两个函数是如何被分布启动到集群上的，也不用关心数据块又是如何分配给计算任务的。这一切都由 MapReduce 计算框架完成！

MapReduce 数据合并与连接机制

分布式计算需要将不同服务器上的相关数据合并到一起进行下一步计算。这里有两个重要的概念：shuffle与分区。
MapReduce 计算框架在 map 输出与 reduce 输入之间，有一个由框架处理的数据合并与连接操作。这个操作有个专门的词汇叫 shuffle。

shuffle.png

每个 Map 任务的计算结果都会写入到本地文件系统，等 Map 任务快要计算完成的时候，MapReduce 计算框架会启动 shuffle 过程，在 Map 任务进程调用一个 Partitioner 接口，对 Map 产生的每个进行 Reduce 分区选择，存放在对应分区的本地数据文件，完成后再通过 HTTP 通信发送给对应的 Reduce 进程。

分区是根据 key 得来的，这样不管 Map 位于哪个服务器节点，相同的 Key 一定会被发送给相同的 Reduce 进程。Reduce 任务进程对收到的进行排序和合并，相同的 Key 放在一起，组成一个传递给 Reduce 执行。

map 输出的 shuffle 到哪个 Reduce 进程是这里的关键，它是由 Partitioner 来实现，MapReduce 框架默认的 Partitioner 用 Key 的哈希值对 Reduce 任务数量取模，相同的 Key 一定会落在相同的 Reduce 任务 ID 上。从实现上来看的话，这样的 Partitioner 代码只需要一行。

 /** Use {@link Object#hashCode()} to partition. */ 
public int getPartition(K2 key, V2 value, int numReduceTasks) { 
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; 
}

shuffle 是大数据计算过程中最神奇的地方，不管是 MapReduce 还是 Spark，只要是大数据批处理计算，一定都会有 shuffle 过程，只有让数据关联起来，数据的内在关系和价值才会呈现出来。如果你不理解 shuffle，肯定会在 map 和 reduce 编程中产生困惑，不知道该如何正确设计 map 的输出和 reduce 的输入。shuffle 也是整个 MapReduce 过程中最难、最消耗性能的地方。

三、MapReduce编程模型与计算框架

MapReduce编程模型

MapReduce计算框架

MapReduce 作业启动和运行机制

MapReduce 数据合并与连接机制

你可能感兴趣的:(三、MapReduce编程模型与计算框架)