MapReduce shuffle过程及压缩机制

MapReduce shuffle过程

    • shuffle过程
    • shuffle阶段数据的压缩机制
        • hadoop当中支持的压缩算法
        • 如何开启我们的压缩:
          • 方式一:在代码中进行设置压缩
        • snappy压缩
          • 这里我们通过修改代码的方式来实现数据的压缩
          • 重新打包测试mr程序

shuffle过程

map阶段处理的数据如何传递给reduce阶段,是MapReduce框架中最关键的一个流程,这个流程就叫shuffle。
shuffle: ——核心机制:数据分区,排序,规约,分组,合并等过程。
shuffle是Mapreduce的核心,它分布在Mapreduce的map阶段和reduce阶段。
一般把从Map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle。
MapReduce shuffle过程及压缩机制_第1张图片
Collect阶段:将MapTask的结果输出到默认大小为100M的环形缓冲区,保存的是key/value,Partition分区信息等。
Spill阶段:当内存中的数据量达到一定的阀值的时候,就会将数据写入本地磁盘,在将数据写入磁盘之前需要对数据进行一次排序的操作,如果配置了combiner,还会将有相同分区号和key的数据进行排序。
Merge阶段:把所有溢出的临时文件进行一次合并操作,以确保一个MapTask最终只产生一个中间数据文件。
Copy阶段:ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据,这些数据默认会保存在内存的缓冲区中,当内存的缓冲区达到一定的阀值的时候,就会将数据写到磁盘之上。
Merge阶段:在ReduceTask远程复制数据的同时,会在后台开启两个线程对内存到本地的数据文件进行合并操作。
Sort阶段:在对数据进行合并的同时,会进行排序操作,由于MapTask阶段已经对数据进行了局部的排序,ReduceTask只需保证Copy的数据的最终整体有效性即可。
Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率,原则上说,缓冲区越大,磁盘io的次数越少,执行速度就越快.

shuffle阶段数据的压缩机制

在shuffle阶段,数据有大量的拷贝过程。从map阶段输出的数据,都要通过网络拷贝,发送到reduce阶段,这一过程中,会涉及到大量的网络IO,因此一个好的压缩机制,会大大减少数据的发送量。

hadoop当中支持的压缩算法

文件压缩的好处:节约磁盘空间,加速数据在网络和磁盘上的传输。

使用bin/hadoop checknative 来查看我们编译之后的hadoop支持的各种压缩。
编译后的CDH版本hadoop支持的压缩算法:
MapReduce shuffle过程及压缩机制_第2张图片
常见的压缩速率比较
MapReduce shuffle过程及压缩机制_第3张图片

如何开启我们的压缩:

方式一:在代码中进行设置压缩

设置我们的map阶段的压缩

Configuration configuration = new Configuration();
configuration.set("mapreduce.map.output.compress","true");
configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

设置我们的reduce阶段的压缩

configuration.set("mapreduce.output.fileoutputformat.compress","true");
configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

方式二:配置全局的MapReduce压缩
修改mapred-site.xml配置文件,对所有的mapreduce任务进行压缩
对map输出数据压缩:


          mapreduce.map.output.compress
          true


         mapreduce.map.output.compress.codec
         org.apache.hadoop.io.compress.SnappyCodec

对reduce输出数据进行压缩:


      mapreduce.output.fileoutputformat.compress
       true


         mapreduce.output.fileoutputformat.compress.type
        RECORD

 
         mapreduce.output.fileoutputformat.compress.codec
        org.apache.hadoop.io.compress.SnappyCodec
  

注意:所有节点都要修改mapred-site.xml 的配置文件,并在完成之后重启Hadoop集群.

snappy压缩

代码中添加配置

这里我们通过修改代码的方式来实现数据的压缩

map阶段输出压缩配置

Configuration configuration = new Configuration();
configuration.set("mapreduce.map.output.compress","true");
configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

reduce阶段输出压缩配置

configuration.set("mapreduce.output.fileoutputformat.compress","true");
configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");
重新打包测试mr程序

你可能感兴趣的:(hadoop)