MapReduce中文件的压缩和解压

1.单个文件的压缩或解压

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionCodecFactory;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.util.ReflectionUtils;


public class CompressionTest {
//设在本地目录下有一个名为uploadFile的文件，对本地文件进行gzip压缩
	public static void StreamCompresson() throws IOException
	{
		Configuration conf = new Configuration();
		//注意此处得到压缩器的方法，CompressionCodec是一个封装了压缩器的接口.
		//下面的语句根据第一个参数产生相应的压缩器
		CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(GzipCodec.class, conf);
		
		FileOutputStream outFile = new FileOutputStream("uploadFile.gz");	//用于将数据写入该流指向的文件中
		FileInputStream in = new FileInputStream("uploadFile");	//该文件会被写压缩输出流，即被压缩。
		//要压缩的话，如下对一个写入输出流的数据进行压缩
		CompressionOutputStream out = codec.createOutputStream(outFile);
		IOUtils.copyBytes(in, out, 4096, true);
	}
	
	//
	public static void FileDecompressor() throws IOException
	{
		Configuration conf = new Configuration();
		FileSystem local = FileSystem.getLocal(conf);
		Path input = new Path("uploadFile.gz");
		//获取所拥有的所有压缩器——工厂
		CompressionCodecFactory factory = new CompressionCodecFactory(conf);
		//根据后缀得到相应的压缩器
		CompressionCodec codec = factory.getCodec(input);
		//移除文件名的后缀
		String outputUri =CompressionCodecFactory.removeSuffix("uploadFile.gz", codec.getDefaultExtension());

		InputStream in = null;
		OutputStream out = null;
		//从压缩输入流中读取内容放入文件输出流
	 in = codec.createInputStream(local.open(input));
		out = local.create(new Path(outputUri));
		IOUtils.copyBytes(in, out, conf, true);
	}
	
	public static void main(String [] args) throws IOException
	{
		StreamCompresson();
		FileDecompressor();
	}
}

另外，注意gzip 为压缩命令,gunzip为解压命令，具体使用可以用man查看。

对HDFS上的压缩文件（也包括序列文件），要是用hadoop -text来查看内容。

2.MapReduce上的压缩和解压

对于MapReduce 上的输入文件，TextInputFormat会自动识别是否是压缩文件，并进行解压，所以可以与普通文件进行完全相同的 处理。

对与输出文件，如果要进行压缩，需要对run()函数中的配置变量Configuration conf进行如下设置：

conf.setBoolean("mapred.output.compress", true);                  //启用输出文件压缩

conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompreissionCodec.class);              //选择压缩器