MapReduce的优化

Map Join：
在 Map 阶段拼接数据，效率高，
只适合一个文件小到能够读取到内存中

job：
    1. 添加小文间到 classpath
        job.addFileToClassPath()
        
map：
    1. 在 setup 读取小文间的内容，保存到内存中的 HashMap 中
        以 关联条件为 key，其它字段为 value
    2. 在 map 中读取大文件内容，
        根据 关联条件 获取 HashMap 中数据进行拼接

Reduce Join：
在 Reduce 阶段拼接数据，效率低，但是可以处理任意大小的数据

map：
    1. 读取处理的 kv 文件名
    2. 不同文件进行不同的处理
    3. 以 关联条件 + 数据来源 为 key，其它字段为 value 进行输出

自定义聚合规则，把关联相同的数据聚合到一起

reduce：
    1. 遍历 values，根据 key 中的数据来源区分出不同的数据
    2. 拼接不同来源的数据，输出

SequenceFile：
有些计算需要多个 mapreduce 配和才能完成，
可以把中间数据保存为 SequenceFile，提高文件的读写效率

SequenceFile 是 Hadoop 专有的文件格式，针对于 HDFS 进行了优化，具有极快的读写速度
    SequenceFile 是以 key-value 形式存储数据
        保存的时候，填充 key-value
        读取的时候，获取 key-value

保存 mapreduce 计算结果为 SequenceFile
    // 1. 设置计算结果保存为 SequenceFile
    job.setOutputFormatClass(SequenceFileOutputFormat.class);
    // 2. 设置数据压缩的级别
    SequenceFileOutputFormat.setOutputCompressionType(job, SequenceFile.CompressionType.NONE);
    // 3. 设置压缩格式
    SequenceFileOutputFormat.setOutputCompressorClass(job, DefaultCodec.class);
    
读取 SequenceFile
    job.setInputFormatClass(SequenceFileInputFormat.class);
    
    map 输入的 kv 类型，一定要和 SequenceFile 中 kv 类型一致