Hadoop序列化和反序列化

序列化：将内存中的对象转换成字节序列，以便于持久化到硬盘和网络传输
反序列化：将接收到的字节序列或者是磁盘中持久化的数据转换成内存中的对象

JDK中的序列化和反序列化

使用java提供的序列化必须遵循三个条件：

1. 该类必须实现java.io.Serializable接口
2. 对于该类的所有无法序列化的字段必须使用transient修饰
3. 加上序列化版本ID serialVersionUID，这个是用来识别序列化的之前的类到底是哪一个

  在使用JDK提供的序列化机制时需要借助一对I/O流，ObjectOutputStream和ObjectInputStream这两个流分别是进行序列化和反序列化操作，通过ObjectOutputStream类的writeObject(Object obj)方法可以将对象写入到输出流中，通过ObjectInputStream类的readObject()方法可以从该输入流中反序列化该对象出来。JDK序列化算法一般会有如下步骤：

1. 将对象实例相关的类元数据输出
2. 递归输出类的超类描述直到不再有超类
3. 类元数据完了之后，开始从最顶层的超类开始输出对象实例的实际数据值
4. 从上至下递归输出实例的数据

Hadoop序列化和反序列化

  在Hadoop中涉及到集群，集群需要进行大量的数据传输，所以对于Hadoop集群来说会有一个需求就是怎么样将A 机器内存中的数据传输到B 机器？这可以使用java自带的序列化框架serializable，但是由于java自带的序列化会有很多额外的信息，不利于网络的传输，所以Hadoop实现了一套自己的序列化框架，相对于java比较简洁，在集群信息的传递上速度更快，容量更小。

Hadoop序列化的特点

数据紧凑
  带宽是集群中信息传递的最宝贵的资源，所以我们必须设法缩小传递信息的大小。为了更好的控制序列化整个流程使用Writable对象，java序列化过程中会保存类的所有信息以及依赖等，Hadoop序列化不需要。

对象可重用
  JDK的反序列化会不断地创建对象，这肯定会造成一定的系统开销，但是在Hadoop反序列化中，能重复的利用一个对象的readField方法来重新产生不同的对象。

可扩展性
  Hadoop自己写序列化很容易，可以通过实现Hadoop的Writable接口实现序列化或者实现WritableComparable接口实现可比较大小的序列化对象。

public interface Writable {
  序列化一个对象，将一个对象按照某个数据传输格式写入到out流中
  void write(DataOutput out) throws IOException;

  反序列化，从in流中读入字节，按照某个数据传输格式读出到一个对象中
  void readFields(DataInput in) throws IOException;
}