MapReduce设置snappy压缩方式

一：MapReduce的压缩

hadoop压缩能够减少map阶段从环形缓冲区生成小文件进行压缩，以及reductTask读取map阶段的文件采用压缩，可以有效的节约磁盘空间以及加速数据在网络上的传输。

查看当前安装的hadoop支持的压缩方式：

bin/hadoop checknative

二：设置snappy压缩方式

注意：默认下载的CHD版本的hadoop不支持snappy压缩，需要对hadoop进行本地编译，才能支持snappy压缩。

代码方式采用压缩：

1）在Map阶段设置压缩：

Configuration configuration = new Configuration();

configuration.set("mapreduce.map.output.compress","true");

configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

2）在reduce阶段设置压缩：

configuration.set("mapreduce.output.fileoutputformat.compress","true");

configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");

configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

配置文件方式采用snappy压缩：

1）修改mapred-site.xml配置

          mapreduce.map.output.compress

          true

         mapreduce.map.output.compress.codec

         org.apache.hadoop.io.compress.SnappyCodec

      mapreduce.output.fileoutputformat.compress

       true

        mapreduce.output.fileoutputformat.compress.type

        RECORD

         mapreduce.output.fileoutputformat.compress.codec

        org.apache.hadoop.io.compress.SnappyCodec