hadoop的org.apache.hadoop.io.serializer包提供了一种可插拔的持久化框架(Pluggable Serialization Framework)。之所以说是可插拔的,是因为可以把现存的持久化方式嵌入到hadoop的程序中。这个包中有以下的一些类:
1、Serializer和Deserializer:这是两个接口,定义序列化和反序列化的接口。
2、Serialization:接口,定义一套序列化机制。
3、JavaSerilization:实现Serialization接口,并维护两个分别实现Serializer和Deserializer接口的内部类。这两个内部类包装Java的序列化机制,实现对实现Serializable接口的类的序列化。
4、WritableSerialization:同上,实现对实现Writable接口的类的序列化
5、SerilizationFactory:维护一个Serilization的ArrayList。它具有参数为Configuration的构造函数,把parameter io.serializations中逗号隔开的serialization都添加进来。
org.apache.hadoop.io中有两个类:
Stringifier是把类转化为字符串和把字符串转化为类的一个接口。DefaultStringifier实现了这个接口,其中用到的序列化方式就是SerializationFactory中维护的Serialization。
下面的程序演示了如何在把Java的序列化方式加入到这个框架中来:
package test;
import java.io.Serializable;
public class TestSerializer implements Serializable{
/**
*
*/
private static final long serialVersionUID = -5063738225407612355L;
private int a;
private String b;
public TestSerializer(int a, String b) {
super();
this.a = a;
this.b = b;
}
public int getA() {
return a;
}
public void setA(int a) {
this.a = a;
}
public String getB() {
return b;
}
public void setB(String b) {
this.b = b;
}
}
package test;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.DefaultStringifier;
public class serializer {
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
Configuration conf = new Configuration();
conf.set("io.serializations", "org.apache.hadoop.io.serializer.JavaSerialization,org.apache.hadoop.io.serializer.WritableSerialization");
TestSerializer ts = new TestSerializer(1,"234");
DefaultStringifier<TestSerializer> ds = new DefaultStringifier<TestSerializer>(conf, TestSerializer.class);
String s = null;
try {
s = ds.toString(ts);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
System.out.println(s);
TestSerializer tsxp = null;
try {
tsxp = ds.fromString(s);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
System.out.println(tsxp.getA()+":"+tsxp.getB());
}
}
output
eXNyABN0ZXN0LlRlc3RTZXJpYWxpemVyubn86a8DKj0CAAJJAAFhTAABYnQAEkxqYXZhL2xhbmcvU3RyaW5nO3hwAAAAAXQAAzIzNA==
1:234