Protocol Buffers 的技术优势详述

前言

APP由于其移动特性，网络通讯要求数据结构更小、更快、更安全，主流的数据协议逐渐从文本协议迁移到序列化协议：

A(XML/JSON)=>B(Protocol Buffers/Hessian/...)

Protocol Buffers（以下简称PB）是google公司开放的，编程语言无关，平台无关，可扩展的序列化数据协议。你只需要用简单的脚本语言，定义好数据结构，就可以生成所支持的编程语言的代码，而PB几乎支持所有的主流编程语言，包括Java、python、Objective-C，C++，Go, JavaNano, Ruby, and C#等。这些特性使得PB逐渐称为序列化数据协议的首选。

这时候，你肯定心里在想，吹的很牛，牛在哪里实际上都没说清楚！别急，下面会一一道来。

看两个使用例子：

Person john = Person.newBuilder()
    .setId(1234)
    .setName("John Doe")
    .setEmail("[email protected]")
    .build();
output = new FileOutputStream(args[0]);
john.writeTo(output);

Person john;
fstream input(argv[1],
    ios::in | ios::binary);
john.ParseFromIstream(&input);
id = john.id();
name = john.name();
email = john.email();

可以看出来，PB是通过二进制流的方式来编码解码的，它的优势也是在于它的编码技术，所以下面重点讲述proto3的序列化编码和关键技术点。

序列化编码

序列化编码描述如何把PB消息转成二进制流，虽然在使用过程中不需要了解这个，但是了解它能让你清楚地知道不同的消息类型，编码后的字节数。

消息结构

每一个消息都是用 key-value的结构形式来存储，其中key是正整型（varint编码），表达为(field_number << 3) | wire_type，wire_type指定了每个数据类型的编码方式，field_number是PB文件中消息序号，这种结构决定了PB数据包会小于XML/JSON格式。

以下是wire_type结构表：

Type	Meaning	Used For
0	Varint/ZipZag	int32, int64, uint32, uint64, sint32, sint64, bool, enum
1	64-bit	fixed64, sfixed64, double
2	Length-delimited	string, bytes, embedded messages, packed repeated fields
3	Start group	groups (deprecated)
4	End group	groups (deprecated)
5	32-bit	fixed32, sfixed32, float

Base 128 Varints

Base 128 varints是一种使用可变子节序列化整型数值的技术，更小的数值使用更少的字节数。

Varints机制下，一个整型，除了最后一个字节，其他子节都有最高有效位（MSB），用来指定后面的字节是否属于该整型，也就是说只要MSB=1，那么后面的一个子节就是属于该整型的。同时，要注意，varints的整型使用的是小端编码。

例如：1用一个子节就可以表示，所以MSB位不用设置，所以编码为

0000 0001

但是300，就编码为

1010 1100 0000 0010

为什么呢？我们按照Varints机制解码，得到最终结果

1010 1100 0000 0010
→ 010 1100  000 0010 ＃去掉MSB
→  000 0010 ++ 010 1100 # 小端还原
→  100101100 ＃拼接
→  256 + 32 + 8 + 4 = 300 #计算

然而，负数的最高位为1，根据上面的机制，该怎么表示？
Varints简单暴力地把所有的负数，无论是int32还是int64，都有10个字节来表示，这显然是很挫的表示，所以varints只适合用来表示正整型，那么负整型怎么办？

ZigZag

PB引入了ZigZag编码来解决负整型编码问题，ZigZag会把所有的负数映射成正数，再使用varint编码，达到压缩目的。使用ZipZag编码需要声明类型为sint32或sint64。

编码示例如下：

Signed Original	Encoded As
0	0
-1	1
1	2
-2	3
2147483647	4294967294
-2147483648	4294967295

编码公式如下，对于 sint32

(n << 1) ^ (n >> 31)

对于sint64

(n << 1) ^ (n >> 63)

>>表示为算术右移，即如果是正数，左边全部补0，如果是负数，左边全部补1。

Length-delimited

Length-delimited即加个数据头，指定数据的长度，整体格式如下：

key length value

例如，字符串 "testing"，UTF8编码为

12 07 74 65 73 74 69 6e 67

0x12表示tag=2,type=2，0x07表示后面的数据长度为7个子节。