Java原生序列化文件格式分析

本文中JDK版本为1.8.0_151

1. Java序列化

Java中，类通过继承Serializable即可实现序列化功能，其中需要需要注意以下几点:

• 建议显示设置serialVersionUID 值，除非你能确定该类以后不会修改。关于serialVersionUID作用，请自行google
• 如果需要定制化序列化方法，只需要添加方法writeObject与writeObject
• 如果忽略某些字段， 加上transient 即可

---

2. 测试代码

public class Test implements Serializable {

    private static final long serialVersionUID = -7200951545614686243L;
    private final  int a;

    public Test(int a) {
        this.a = a;
    }


    public static void main(String[] args) {

        try {
            Test test = new Test(1);

            FileOutputStream fileOutputStream = new FileOutputStream("test.txt", false);
            ObjectOutputStream o = new ObjectOutputStream(fileOutputStream);
            o.writeObject(test);


            FileInputStream fileInputStream = new FileInputStream("test.txt");
            ObjectInputStream objectInputStream = new ObjectInputStream(fileInputStream);

            Test t = (Test) objectInputStream.readObject();

            System.out.println(t.a);

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

---

3. 调用流程

writeObject() --> writeObject0() --> writeOrdinaryObjec() --> writeSerialData()

调用流程相对简单， 现在关注几个问题。

3.1 transient作用

调用逻辑在: writeObject0() --> ObjectStreamClass.lookup()--> new ObjectStreamClass() --> getSerialFields() --> getDefaultSerialFields()

    private static ObjectStreamField[] getDefaultSerialFields(Class cl) {
        Field[] clFields = cl.getDeclaredFields();
        ArrayList list = new ArrayList<>();
        int mask = Modifier.STATIC | Modifier.TRANSIENT;

        for (int i = 0; i < clFields.length; i++) {
            if ((clFields[i].getModifiers() & mask) == 0) {
                list.add(new ObjectStreamField(clFields[i], false, true));
            }
        }
        int size = list.size();
        return (size == 0) ? NO_FIELDS :
            list.toArray(new ObjectStreamField[size]);
    }

可以看到static与transient成员变量都会忽略。

3.2 serialVersionUID

调用逻辑在:
writeObject0() --> writeOrdinaryObject() --> writeClassDesc() --> writeNonProxyDesc() --> writeClassDescriptor() --> writeNonProxy() --> getSerialVersionUID() --> computeDefaultSUID()

仔细查看computeDefaultSUID() 可以知道如果没有显示设置serialVersionUID,Java会通过该算法计算出serialVersionUID， 如果类变了，计算出的serialVersionUID可能值不同。

3.3 writeObject与readObject

• 判断是否有writeObject与readObject

 private ObjectStreamClass(final Class cl) {
  ...
  writeObjectMethod = getPrivateMethod(cl, "writeObject",
                            new Class[] { ObjectOutputStream.class },
                            Void.TYPE);
                        readObjectMethod = getPrivateMethod(cl, "readObject",
                            new Class[] { ObjectInputStream.class },
                            Void.TYPE);
  ...
 }

• 写对象时

 private void writeSerialData(Object obj, ObjectStreamClass desc)
        throws IOException
    {
        ObjectStreamClass.ClassDataSlot[] slots = desc.getClassDataLayout();
        for (int i = 0; i < slots.length; i++) {
            ObjectStreamClass slotDesc = slots[i].desc;
            /**
                  boolean hasWriteObjectMethod() {
                      requireInitialized();
                      //如果用户写了writeObject, 则hasWriteObjectMethod返回true
                      return (writeObjectMethod != null);
                  }
           */
            if (slotDesc.hasWriteObjectMethod()) {
                ...
                slotDesc.invokeWriteObject(obj, this);
                ...
            } else {
                defaultWriteFields(obj, slotDesc);
            }
        }

---

4. 序列化文件格式与内容

4.1 文件结构

Java原生序列化文件格式

4.2 范例生成的文件内容

java序列化文件内容.png

4.3 文件内容详解

• aced 固定部分，值为ObjectOutputStream.STREAM_MAGIC
• 0005 固定部分，值为ObjectOutputStream.STREAM_VERSION
• 73 值为ObjectStreamConstants.TC_OBJECT
• 72 值为ObjectStreamConstants.TC_CLASSDESC
• 002c 类全限名length
• 接下来35个字节的类全限名
• 9c11 14b8 b6d6 27dd 序列化id
• 02 代表序列化类型ObjectStreamConstants.SC_SERIALIZABLE, 详细可以参考ObjectStreamClass#writeNonProxy
• 0001 代表只有一个可序列化的字段
• 49 代表字段类型I, 代表是整形，具体可以参考ObjectStreamField#getClassSignature
• 0001 61为对应字段名， 0001代表列名长充，61即a
• 78 值为ObjectStreamConstants.TC_ENDBLOCKDATA
• 70 父类的ClassDesc, ClassDesc值为null, 内容为ObjectStreamConstants.TC_NULL
• 0000001 为对应的值

从以上内容看Java原生序列化没有采用任何可以减少空间的编码、压缩等方式，个人感觉至少有以下几个方向可以优化

• 引入高效编码, 如Vint、Bit、delta等编码
• 没有对同一类型的数据进行合并, 比如说将所有int类型的属性放在一起编码比逐个编码效率更高、占用空间更小
• 引入高效的压缩方法

后面有时间分析一下常用的几种高效的序列化框架的实现方式。

---

觉得本文有帮助的话，请关注我的，一同进步！