Hadoop数据分析平台实战——060深入理解MapReduce 01（案例）

离线数据分析平台实战——060深入理解MapReduce 01（案例）

用户自定义数据类型

MapReduce中的数据类型至少有两种用途。
第一个用途，这些类型定义的数据可以被序列化进行网络传输和文件存储，
第二个用途，在shuffle阶段要可以进行大小比较。
那么在hadoop中解决
第一种方式采用hadoop的接口Writable，
第二种采用接口java接口Comparable(Hadoop将这两个接口结合提供了WritableComparable接口)。

Hadoop提供了很多的内置数据类型，
比如：MapWritable, LongWritable, IntWritable, BooleanWritable, ByteWritable, DoubleWritable, FloatWritable, Text, NullWritable等。

用户定制数据输入格式化器

数据输入格式(InputFormat)用于描述MR作业的数据输入格式规范。
MapReduce框架依赖InputFormat进行输入数据分片以及提供读取分片数据的RecordReader实例对象。
每一个InputFormat类都会有一个对应的RecordReader类，
RecordReader类主要作用是将输入数据转换为键值对，
传输给mapper阶段的map方法。

MapReduce默认的数据输入格式是:
TextInputFormat(LineRecordReader)。
除了这个格式器以外，
还有KeyValueTextInputFormat, CombineTextInputFormat, SequenceFileInputFormat, DBInputFormat等。

InputFormat详解

全称：org.apache.hadoop.mapreduce.InputFormat
方法详解：
getSplits：返回值是分片信息集合；作用：通过分片个数确定mappre的个数，并根据分片信息中的数据地址信息决定是否采用数据本地化策略。
createRecordReader：创建一个具体读取数据并构造key/value键值对的RecordReader实例对象。

RecordReader详解

全称：org.apache.hadoop.mapreduce.RecordReader
方法详解：
initialize：根据对应的分片信息进行初始化操作。
nextKeyValue：判断是否还有下一个key/value键值对，如果有返回true；否则返回false。
getCurrentKey/getCurrentValue：获取当前key/value键值对。
getProgress：获取操作进度信息。
close：关闭资源读取相关连接。

FileSplit详解

全称：org.apache.hadoop.mapreduce.InputSplit
方法详解：
getLength：获取分片长度。
getLocations：获取该分片数据对应的位置信息，确定数据本地化时候有用。

用户定制数据输出格式化器

数据输出格式(OutputFormat)用于描述MR作业的数据输出格式规范。
MapReduce框架依赖OutputFormat进行输出路径(输出空间)检测、获取提交job的OutputCommitter实例对象以及提供一个具体定义如何输出数据的RecordWriter实例对象。
每一个OutputFormat类都会有一个对应的RecordWriter类，RecordWriter类主要作用是明确定义如何写入以及写入的格式，接收reducer阶段输出的key/value键值对。

MapReduce默认的数据输出格式是:
TextOutputFormat(LineRecordWriter)。
除了这个格式器以外，还有SequenceFileOutputFormat, DBOutputFormat等。

OutputFormat详解

全称：org.apache.hadoop.mapreduce.OutputFormat
方法详解：
getRecordWriter：创建一个具体写数据的RecordWriter实例。
checkOutputSpecs：检测输出空间相关信息，如果检测失败，直接抛出异常。
getOutputCommitter：获取一个提交job的committer对象。一般情况下，直接使用FileOutputCommitter对象即可。如果觉得FileOutputCommitter内容比较多，也可以自己实现一个完全为空的类。

案例-MongoDB Hadoop实例

实现功能：从MongoDB中读取日志数据，将MapReduce程序处理过的数据写出到MongoDB中。