【实习周记】Android中ProtoBuf的使用与序列化原理

【实习周记】Android中ProtoBuf的使用与序列化原理

一.概述

protobuf（Protocol Buffer）是Google推出的一种与语言无关、平台无关、可扩展的序列化结构数据的方法。在兼容性和传输效率上优于Json和Xml。

二.在Android中使用protobuf

1.在项目中接入protobuf

(1).在项目根目录的build.gradle中添加依赖：

     dependencies {
        classpath 'com.google.protobuf:protobuf-gradle-plugin:0.8.8'
     }

(2).在用到protobuf的module的build.gradle中添加protobuf的plugin：

     apply plugin: 'com.google.protobuf'

(3).在module的build.gradle中添加protobuf的配置

          protobuf {
             protoc {
                  // You still need protoc like in the non-Android case
                  artifact = 'com.google.protobuf:protoc:3.6.1'
             }
             generateProtoTasks {
                  all().each { task ->
                    task.builtins {
                      java {}
                    }
                  }
             }
          }

(4).在module的build.gradle中添加proto文件的路径

         android {
            sourceSets {
                main {
                   proto {
                     srcDir 'src/main/proto'  //proto文件所在路径
                     include '**/*.proto'
                   }
                   java {
                     srcDir 'src/main/java'
                   }
               }
            }
         }

(5).在module的build.gradle中添加protobuf-java和protoc的依赖，其中protoc的依赖很重要，lite版使用方法中不需要添加，所以很容易漏掉。

dependencies {
             compile 'com.google.protobuf:protobuf-java:3.6.1'
             compile 'com.google.protobuf:protoc:3.1.0'
}

(6).混淆规则

-keep class com.pl.longlink.** {*;} //protobuf生成类的路径
-keep class com.google.protobuf.Any {*;} //如果要用到Any，需要keep

2.创建.proto文件

.proto文件语法规则
(1).syntax：指定proto版本
eg: syntax = “proto3”;
(2).package：默认生成文件的包名
eg: package com.leeduo.protobuf;
(3).option java_outer_classname：指定生成类的类名
eg: option java_outer_classname = “Person”;
(4).option java_package：指定生成文件的包名
eg: option java_package = “com.example.leeduo”;
(5).message：指定可以创建实例的类
(6).类内变量的格式：[修饰符] 类型 变量名 = 数字 [ [default = ] ] [ [packed= true] ]；
     a).修饰符：
                  optional：表示修饰的变量可以有也可以没有，proto3移除
                  required：表示修饰的变量必须有，proto3移除
                  repeated：表示修饰的变量可以重复，可以表示数组
     b).default：为变量设置默认值，使用要带中括号，proto3移除
     c).packed：当repeated存在时的选项，可以改变repeated修饰的变量的序列化传输方式。
     eg: string name = 1 [default = “jack”];
     d).类型：

     e).数字：该数字为每一个变量(key)在同一个局域下唯一的标识(tag)，大于等于1，0留给未初始化的时候用。

3.在代码中使用protobuf

1.编写.proto文件
2.编译项目，生成中间类
3.调用中间类的方法，生成消息对象
4.序列化：writeTo(); 反序列化：parseFrom();
   说明：使用提供的builder构建对象
               正常情况，使用set方法填充数据
               对于被repeated修饰的变量，使用add方法添加
               在.proto文件中创建枚举类时，tag要从0开始，其他情况。从1开始。

三.protobuf序列化原理

1.序列化

Protocol Buffer将消息里的每个字段进行编码后，再利用T - L - V 存储方式进行数据的存储，最终得到的是一个二进制字节流
序列化 = 编码 + 存储
Protocol Buffer对于不同数据类型采用不同的序列化方式

2.数据传输方式：T-L-V

Tag - Length - Value，标识 - 长度 - 字段值

(1).Tag：字段标识符，由字段的数据类型（wire_type）和标识号（field_number）构成
                  Tag的计算公式：Tag = (field_number << 3) | wire_type
                  通常Tag占用一个字节的长度，如果标识号超过了16，则占用多一个字节的位置
(2).Length：Value的字节长度采用Varint编码
(3).Value：编码后的消息字段的值

3.编码方式

(1).64-bit和32-bit

编码后的数据具备固定大小 = 64位（8字节） / 32位（4字节）
两种情况下，都是高位在后，低位在前

(2).Varint

取出字节串末7位，在最高位添加1构成一个字节。
如果是最后一次取出，则在最高位添加0构成1个字节。
通过将字节串整体往右移7位，继续从字节串的末尾选取7位，直到取完为止。
将形成的每个字节按序拼接成一个字节串，该字节串就是经过Varint编码后的字节。
a).Varint 编码方式的不足
计算机定义负数的符号位为数字的最高位，采用Varint编码方式表示一个负数，需要5个byte。
b).解决
sint32 / sint64 类型表示负数，通过先采用 Zigzag 编码（将有符号数转换成无符号数），再采用Varint编码，从而用于减少编码后的字节数。

(3).Zigzag

编码：sint32：(n <<1) ^ (n >>31)
            sint64：(n <<1) ^ (n >>63)
解码：(n >>> 1) ^ -(n & 1)

(4).UTF-8

string类型采用UTF-8编码

4.存储方式

T-V或T-L-V
说明：
repeated修饰的字段
无packed: 以多个 T - V对存储
有packed：以T - L - V - V – V-……方式存储

5.使用建议

(1).字段标识号（Field_Number）尽量只使用 1-15，且不要跳动使用，因为Tag里Field_Number是需要占字节空间的。如果Field_Number>16时，Field_Number的编码就会占用2个字节，
那么Tag在编码时也就会占用更多的字节。

(2).若需要使用的字段值出现负数，请使用sint32 / sint64，不要使用int32 / int64因为采用sint32 / sint64数据类型表示负数时，会先采用Zigzag编码再采用Varint编码，从而更加有效压缩数据。