hadoop mapreduce中压缩

3.2　压缩

一般来说，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原始编码的特殊编码方式来保存数据，使数据占用的存储空间比较小，这个过程一般叫压缩。和压缩对应的概念是解压缩，就是将被压缩的数据从特殊编码方式还原为原始数据的过程。

压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或者到磁盘上的传输速度。在Hadoop中，压缩应用于文件存储、Map阶段到Reduce阶段的数据交换（需要打开相关的选项）等情景。

数据压缩的方式非常多，不同特点的数据有不同的数据压缩方式：如对声音和图像等特殊数据的压缩，就可以采用有损的压缩方法，允许压缩过程中损失一定的信息，换取比较大的压缩比；而对音乐数据的压缩，由于数据有自己比较特殊的编码方式，因此也可以采用一些针对这些特殊编码的专用数据压缩算法。

3.2.1　Hadoop压缩简介

Hadoop作为一个较通用的海量数据处理平台，在使用压缩方式方面，主要考虑压缩速度和压缩文件的可分割性。

所有的压缩算法都会考虑时间和空间的权衡，更快的压缩和解压缩速度通常会耗费更多的空间（压缩比较低）。例如，通过gzip命令压缩数据时，用户可以设置不同的选项来选择速度优先或空间优先，选项–1表示优先考虑速度，选项–9表示空间最优，可以获得最大的压缩比。需要注意的是，有些压缩算法的压缩和解压缩速度会有比较大的差别：gzip和zip是通用的压缩工具，在时间/空间处理上相对平衡，gzip2压缩比gzip和zip更有效，但速度较慢，而且bzip2的解压缩速度快于它的压缩速度。

当使用MapReduce处理压缩文件时，需要考虑压缩文件的可分割性。考虑我们需要对保持在HDFS上的一个大小为1GB的文本文件进行处理，当前HDFS的数据块大小为64MB的情况下，该文件被存储为16块，对应的MapReduce作业将会将该文件分为16个输入分片，提供给16个独立的Map任务进行处理。但如果该文件是一个gzip格式的压缩文件（大小不变），这时，MapReduce作业不能够将该文件分为16个分片，因为不可能从gzip数据流中的某个点开始，进行数据解压。但是，如果该文件是一个bzip2格式的压缩文件，那么，MapReduce作业可以通过bzip2格式压缩文件中的块，将输入划分为若干输入分片，并从块开始处开始解压缩数据。bzip2格式压缩文件中，块与块间提供了一个48位的同步标记，因此，bzip2支持数据分割。

表3-2列出了一些可以用于Hadoop的常见压缩格式以及特性。

表3-2　Hadoop支持的压缩格式

为了支持多种压缩解压缩算法，Hadoop引入了编码/解码器。与Hadoop序列化框架类似，编码/解码器也是使用抽象工厂的设计模式。目前，Hadoop支持的编码/解码器如表3-3所示。

表3-3　压缩算法及其编码/解码器

同一个压缩方法对应的压缩、解压缩相关工具，都可以通过相应的编码/解码器获得。

3.2.2　Hadoop压缩API应用实例

本节介绍使用编码/解码器的典型实例（代码在org.hadoopinternal.compress包中）。其中，compress()方法接受一个字符串参数，用于指定编码/解码器，并用对应的压缩算法对文本文件README.txt进行压缩。字符串参数使用Java的反射机制创建对应的编码/解码器对象，通过CompressionCodec对象，进一步使用它的createOutputStream()方法构造一个CompressionOutputStream流，未压缩的数据通过IOUtils.copyBytes()方法，从输入文件流中复制写入CompressionOutputStream流，最终以压缩格式写入底层的输出流中。

在本实例中，底层使用的是文件输出流FileOutputStream，它关联文件的文件名，是在原有文件名的基础上添加压缩算法相应的扩展名生成。该扩展名可以通过CompressionCodec对象的getDefaultExtension()方法获得。相关代码如下：

public static void compress(String method) throws…… {
  File fileIn = new File("README.txt");

 //输入流
  InputStream in =  new FileInputStream(fileIn);

 Class<?> codecClass = Class.forName(method);

 Configuration conf = new Configuration();
  //通过名称找对应的编码/解码器
  CompressionCodec codec = (CompressionCodec)
        ReflectionUtils.newInstance(codecClass, conf);

 File fileOut = new File("README.txt"+codec.getDefaultExtension());
  fileOut.delete();
  //文件输出流
  OutputStream out =  new FileOutputStream(fileOut);

 //通过编码/解码器创建对应的输出流
  CompressionOutputStream cout =
     codec.createOutputStream(out);

 //压缩
  IOUtils.copyBytes(in, cout, 4096, false);

 in.close();
  cout.close();
}

需要解压缩文件时，通常通过其扩展名来推断它对应的编码/解码器，进而用相应的解码流对数据进行解码，如扩展名为gz的文件可以使用GzipCodec阅读。每个压缩格式的扩展名请参考表3-3。

CompressionCodecFactory提供了getCodec()方法，用于将文件扩展名映射到对应的编码/解码器，如下面的例子。有了CompressionCodec对象，就可以使用和压缩类似的过程，通过对象的createInputStream()方法获得CompressionInputStream对象，解码数据。相关代码如下：

public static void decompress(File file) throws IOException {
  Configuration conf = new Configuration();
  CompressionCodecFactory factory = new CompressionCodecFactory(conf);

 //通过文件扩展名获得相应的编码/解码器
  CompressionCodec codec = factory.getCodec(new Path(file.getName()));

 if( codec == null ) {
     System.out.println("Cannot find codec for file "+file);
     return;
  }

 File fileOut = new File(file.getName()+".txt");

 //通过编码/解码器创建对应的输入流
  InputStream in = codec.createInputStream( new FileInputStream(file) );
  ……
}