在项目中使用Protobuf协议实现数据传输(一)

简介

Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。

Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API

Protobuf 的优点

Protobuf 有如 XML，不过它更小、更快、也更简单。你可以定义自己的数据结构，然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。只需使用 Protobuf 对数据结构进行一次描述，即可利用各种不同语言或从各种不同数据流中对你的结构化数据轻松读写。

它有一个非常棒的特性，即“向后”兼容性好，人们不必破坏已部署的、依靠“老”数据格式的程序就可以对数据结构进行升级。这样您的程序就可以不必担心因为消息结构的改变而造成的大规模的代码重构或者迁移的问题。因为添加新的消息中的 field 并不会引起已经发布的程序的任何改变。

Protobuf 语义更清晰，无需类似 XML 解析器的东西（因为 Protobuf 编译器会将 .proto 文件编译生成对应的数据访问类以对 Protobuf 数据进行序列化、反序列化操作）。

使用 Protobuf 无需学习复杂的文档对象模型，Protobuf 的编程模式比较友好，简单易学，同时它拥有良好的文档和示例，对于喜欢简单事物的人们而言，Protobuf 比其他的技术更加有吸引力。具体借鉴网上分享与JSON，XML等比较的测试结果图，具体如下：

序列化数据对比

image

bytes字节数对比

image

Protobuf 的不足

Protbuf 与 XML 相比也有不足之处。它功能简单，无法用来表示复杂的概念。

XML 已经成为多种行业标准的编写工具，Protobuf 只是 Google 公司内部使用的工具，在通用性上还差很多。

由于文本并不适合用来描述数据结构，所以 Protobuf 也不适合用来对基于文本的标记文档（如 HTML）建模。另外，由于 XML 具有某种程度上的自解释性，它可以被人直接读取编辑，在这一点上 Protobuf 不行，它以二进制的方式存储，除非你有 .proto 定义，否则你没法直接读出 Protobuf 的任何内容

在Android Studio配置google protobuf

在project的build.gradle中配置

buildscript {
repositories {
    jcenter()
    mavenCentral()
}
dependencies {
    classpath 'com.android.tools.build:gradle:2.2.3'
    classpath 'com.google.protobuf:protobuf-gradle-plugin:0.8.0'
}
}

注意 Gradle版本至少是 2.12 并且Java 7，本例子使用的是2.2.3，protobuf-gradle-plugin使用最新的0.8.0版本。

在app的build.gradle中配置

顶部添加protobuf插件
apply plugin: 'com.google.protobuf'
android{
...

android结点增加proto文件位置配置
sourceSets {
    main {
        proto {
            srcDir 'src/main/proto'
            include '**/*.proto'
        }
        java {
            srcDir 'src/main/java'
        }
    }
}
}
添加依赖
dependencies {
...
compile 'com.google.protobuf:protobuf-java:3.1.0'
compile 'com.google.protobuf:protoc:3.1.0'
}
增加protobuf结点
protobuf {
protoc {
    artifact = 'com.google.protobuf:protoc:3.1.0'
}

generateProtoTasks {
    all().each { task ->
        task.builtins {
            remove java
        }
        task.builtins {
            java {}
            // Add cpp output without any option.
            // DO NOT omit the braces if you want this builtin to be added.
            cpp {}
        }
    }
}

generatedFilesBaseDir = "$projectDir/src/generated"
}

java端配置ProtoBuf

下载Protocol Buffers

在官方地址或者maven仓库中下载即可。

通过.proto文件生成对应的.java/.h/.cc等文件

然后cmd cd到该目录 执行protoc.exe --java_out=./ book.proto，此时在这个目录下回生成BookOuterClass.java文件

在java客户端
序列化：

BookOuterClass.Book book=BookOuterClass.Book.newBuilder()
            .setId(1)
            .setDesc("codeBook")
            .setName("Prime")
            .build();
        
byte [] value = p.toByteArray()

反序列化：

BookOuterClass.Book book=BookOuterClass.Book.parseFrom(value);

在JAVA中如何使用生成的数据模型

protobuf与java type区分

image

proto描述文件的编写

• 语法

  3.5的语法跟以前的protobuf语法有很大的变化，详细的可以参考官方文档，
  地址：https://developers.google.com/protocol-buffers/docs/proto3

  这里有一个中文翻译的文档
  地址：http://blog.csdn.net/u011518120/article/details/54604615

例子

//syntax = "proto2";//声明proto版本，2.0与3.0以后语法差异很大
syntax = "proto3";
option java_package = "com.crf.jason.myapplication";
package bean;
message Book {
//    required int32 id = 1;//Proto 2.0版本，需要声明requires、optional等
//    required string name = 2;
//    optional string desc = 3;
    int32 id = 1;//Proto 3.0版本，不需要声明requires、optional等
    string name = 2;
    string desc = 3;
}

注意：

• 顶部必须申明句法的版本号，如果不申明，则默认是2.0的语法。
• 下面Message节里面的字段就是业务需要的各个字段了，等号后面的数字是序号，必须指定。在3.5版本中不用指定required、等关键字了。如果有需要使用2.0版本，具体参数的含义具体如下：
  • required：一个格式良好的消息一定要含有1个这种字段。表示该值是必须要设置的；
  • optional：消息格式中该字段可以有0个或1个值（不超过1个）
  • repeated：在一个格式良好的消息中，这种字段可以重复任意多次（包括0次）。重复的值的顺序会被保留。表示该值可以重复，相当于java中的List
• Book 的名称格式与为生成的java文件的名称是有关系的。当然你也可以在文件里自定义java文件的名称

• 生成的java代码中的的builder还是按照默认格式来生成的，所以，建议大家就直接按照默认规则来设计即可。 此外，还可以指定改java代码的包路径，命令如下：option java_package = "com.crf.jason.myapplication";（Android studio环境）

  
  
  

  image

在Android项目中使用

上述第四点可见，通过.proto文件会在debug目录生成对应的java或者cpp文件，这个文件就是我们用来处理服务端的响应转变成我们需要的java类，具体如下：

BookOuterClass.Book book=BookOuterClass.Book.parseFrom(out.toByteArray());

在java端使用

具体参考：Google官网的开发者文档

Google官方例子：

syntax = "proto2";

package tutorial;

option java_package = "com.example.tutorial";
option java_outer_classname = "AddressBookProtos";

message Person {
  required string name = 1;
  required int32 id = 2;
  optional string email = 3;

  enum PhoneType {
MOBILE = 0;
HOME = 1;
WORK = 2;
  }

  message PhoneNumber {
required string number = 1;
optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phones = 4;
}

message AddressBook {
  repeated Person people = 1;
}