MapReduce过程简析

本文主要讲述hadoop中MapReduce数据处理的过程。

MapReduce处理流程

MapReduce处理流程

过程简析：

  MapReduce的作业流程大致可分为4个步骤：input、maper、shuffle、reducer。下面以这四个阶段为基础来对MapReduce进行说明。

1.input

  input为MapReduce从HDFS中读取数据阶段，在input阶段，主要会对要读入的数据进行InputFormat和InputSplit处理，然后通过RecordReader，将符合要求数据提供Mapper使用。
  其中：
    InputFormat：决定读取数据的格式，可以是文件或数据库等。
    InputSplit：将输入文件进行逻辑分片，一个InputSplit分配一个独立Map任务。
  注： a.Split的个数将决定Map的数量，大量的Mapper Task的创建开销是巨大的。所以应尽量避免小文件。InputSplit可以通过调用CombineFileInputFormat将若干个Split打包成一个Split。
  b.通常一个split就是一个block（FileInputFormat仅仅拆分比block大的文件），这样做的好处是使得Map可以在存储有当前数据的节点上运行本地的任务，而不需要通过网络进行跨节点的任务调度。

2.maper

  maper的主要功能是对输入的数据，根据需求进行处理，并将处理结果写入本地磁盘。maper阶段可以细分为：map、partition、buffer、spill、merge五个阶段。

  2.1 map

  mapReduce框架会对inputSplit中的每个键值对调用一次map，经map处理后，会得到一个新的（key，value）键值对。根据需求，需重写map函数。

  2.2 partition：分区

  partition的作用就是根据map输出的key和value以及reduce的数量来决定当前这对输出数据最终由哪个reduce task来处理。默认的处理方式：对key hash后再对reduce task数量取模。也可根据要求，重写Partitioner函数。

  2.3 buffer：内存缓冲区

  当数据经map、partition处理之后，产生的结果不会直接写入本地磁盘，而是写入一个环形内存缓冲区。每个map都会对应一个内存缓冲区。默认100M。
  注：写入内存缓冲去的内容不仅包括map解析出的键值对，还包括Partitioner操作得到的分区元数据。

  2.4 spill 溢写

  当内存缓冲区内的数据达到阈值80M（可设）时，将启动一独立线程来将缓冲区数据写入本地磁盘，此过程成为溢写。此时并不影响往剩余20M的内存缓冲区里继续写入数据。
  在执行spill的过程中，还会执行sort和combiner过程（combiner可选）。先对需要spill的数据进行排序，然后如果配置了combiner，则还会执行数据的合并。（combiner可以有效减小写入本地磁盘的数据量）。

  2.5 merge

  当本节点的map任务处理完成后，本地磁盘中可能会存在很多的溢写文件。所以需要将多份溢写文件合并成一份，在次过程中，如果开启combiner，会再次对文件中相同的key值进行数据合并。