Hadoop压缩codec
简介
codec其实就是coder和decoder两个单词的词头组成的缩略词。CompressionCodec定义了压缩和解压缩接口，我们这里讲的codec就是实现了CompressionCodec接口的一些压缩格式的类，下面就是这些类的列表：
使用CompressionCodecs解压缩
CompressionCodec有两个方法可以方便的压缩和解压：
压缩：通过createOutputStream(OutputStream out)方法获得CompressionOutputStream对象。
解压：通过createInputStream(InputStream in)方法获得CompressionInputStream对象。
压缩的示例代码
package com.sweetop.styhadoop;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.util.ReflectionUtils;
/**
* Created with IntelliJ IDEA.
* User: lastsweetop
* Date: 13-6-25
* Time: 下午10:09
* To change this template use File | Settings | File Templates.
*/
public class StreamCompressor {
public static void main(String[] args) throws Exception {
String codecClassName = args[0];
Class codecClass = Class.forName(codecClassName);
Configuration conf = new Configuration();
CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass, conf);
CompressionOutputStream out = codec.createOutputStream(System.out);
IOUtils.copyBytes(System.in, out, 4096, false);
out.finish();
}
}再来看下命令行：
echo "Hello lastsweetop" | ~/hadoop/bin/hadoop com.sweetop.styhadoop.StreamCompressor org.apache.hadoop.io.compress.GzipCodec | gunzip -我们来看一下输出：
[exec] 13/06/26 20:01:53 INFO util.NativeCodeLoader: Loaded the native-hadooplibrary
[exec] 13/06/26 20:01:53 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
[exec] Hello lastsweetop使用CompressionCodecFactory解压缩
如果你想读取一个被压缩的文件的话，首先你的先通过扩展名判断该用哪一种codec，当然这里有更简便的方法，CompressionCodecFactory已经帮你把这件事做了，通过传入一个Path调用它的getCodec()方法即可获得相应的codec。我们来看源码：
public class FileDecompressor {
public static void main(String[] args) throws Exception {
String uri = args[0];
Configuration conf = new Configuration();
//获取文件系统
FileSystem fileSystem = FileSystem.get(URI.create(uri), conf);
//构建输入路径
Path inputPath = new Path(uri);
//创建CompressionCodecFactory对象
CompressionCodecFactory factory = new CompressionCodecFactory(conf);
//获取文件的压缩格式
CompressionCodec codec = factory.getCodec(inputPath);
//如果压缩格式不存在就退出
if (codec == null){
System.out.println("No codec found for " + uri);
System.exit(1);
}
//去掉文件的后缀,键outputUri作为解压的输出路径
String outputUri = CompressionCodecFactory.removeSuffix(uri, codec.getDefaultExtension());
//定义输入输出流
InputStream in = null;
OutputStream out = null;
try {
//创建输入输出流
in = codec.createInputStream(fileSystem.open(inputPath));
out = fileSystem.create(new Path(outputUri));
//解压
IOUtils.copyBytes(in, out, conf);
} catch (Exception e) {
e.printStackTrace();
}finally{
IOUtils.closeStream(in);
IOUtils.closeStream(out);
}
}
}
原生库
现在越来越多原生库的概念，HDFS的codec也不例外，原生库可以极大的提升性能比如gzip的原生库解压提高50%，压缩提高10%，但不是所有codec都有原生库的，而一些codec只有原生库。我们来看下列表：
Linux下，hadoop以前提前编译好了32位的原生库和64位的原生库，我们看下：
[hadoop@namenode native]$pwd
/home/hadoop/hadoop/lib/native
[hadoop@namenode native]$ls -ls
total 8
4 drwxrwxrwx 2 root root 4096 Nov 14 2012 Linux-amd64-64
4 drwxrwxrwx 2 root root 4096 Nov 14 2012 Linux-i386-32java原生库的路径可以通过java.library.path指定，在bin目录下，hadoop的启动脚本已经指定，如果你不用这个脚本，那么你就需要在你的程序中指定了。
if [ -d "${HADOOP_HOME}/build/native" -o -d "${HADOOP_HOME}/lib/native" -o -e "${HADOOP_PREFIX}/lib/libhadoop.a" ]; then
if [ -d "$HADOOP_HOME/build/native" ]; then
JAVA_LIBRARY_PATH=${HADOOP_HOME}/build/native/${JAVA_PLATFORM}/lib
fi
if [ -d "${HADOOP_HOME}/lib/native" ]; then
if [ "x$JAVA_LIBRARY_PATH" != "x" ]; then
JAVA_LIBRARY_PATH=${JAVA_LIBRARY_PATH}:${HADOOP_HOME}/lib/native/${JAVA_PLATFORM}
else
JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native/${JAVA_PLATFORM}
fi
fi
if [ -e "${HADOOP_PREFIX}/lib/libhadoop.a" ]; then
JAVA_LIBRARY_PATH=${HADOOP_PREFIX}/lib
fi
fi如果你用原生库做大量的压缩和解压的话可以考虑用CodecPool，有点像连接池，这样你就无需频繁的去创建codec对象。
public class PooledStreamCompressor {
public static void main(String[] args) throws ClassNotFoundException {
String codecClassName = args[0];
//获取压缩类的字节码用于反射
Class codecClass = Class.forName(codecClassName);
//创建配置信息
Configuration conf = new Configuration();
//通过反射机制创建压缩类
CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass, conf);
//定义压缩类
Compressor compressor = null;
try {
//通过CodecPool创建compressor
compressor = CodecPool.getCompressor(codec);
//创建压缩类对象
CompressionOutputStream out = codec.createOutputStream(System.out, compressor);
//压缩
IOUtils.copyBytes(System.in, out,4096, false);
//完成
out.finish();
} catch (Exception e) {
e.printStackTrace();
} finally {
CodecPool.returnCompressor(compressor);
}
}
}
输出结果如下：
[exec] 13/06/27 12:00:06 INFO util.NativeCodeLoader: Loaded the native-hadoop library
[exec] 13/06/27 12:00:06 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
[exec] 13/06/27 12:00:06 INFO compress.CodecPool: Got brand-new compressor
[exec] Hello lastsweetop原文来自： http://blog.csdn.net/lastsweetop/article/details/9173061
代码来自：https://github.com/lastsweetop/styhadoop