高效数据传输之protobuf

protobuf的诞生

以前在不同系统或者不同项目之间传输数据主要使用XML格式。下面是xml格式的一些优缺点。

时间开销:XML格式化(序列化)的开销倒还好;但是XML解析(反序列化)的开销就不敢恭维啦。俺之前经常碰到一些时间性能很敏感的场合,由于不堪忍受XML解析的速度,弃之如敝履。

空间开销:虽然XML格式为了有较好的可读性,但是引入了一些冗余的文本信息。所以空间开销也不是太好。

由于Google公司赖以吹嘘的就是它的海量数据和海量处理能力。对于几十万、上百万机器的集群,动不动就是PB级的数据量,哪怕性能稍微提高0.1%也是相当可观滴。所以Google自然无法容忍XML在性能上的明显缺点。再加上Google从来就不缺造轮子的牛人,所以protobuf也就应运而生了。

什么是protobuf?

protobuf的开源项目地址

protobuf是一种轻便高效的结构化数据存储格式,全称是protocol buffers;可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

protobuf数据格式的定义

在data.proto文件中用proto3的语法封装自己的数据,如下:


高效数据传输之protobuf_第1张图片

代码格式和c语言风格差不多,syntax表示你要用的proto语法版本,默认是proto2,message是关键词,Person则是自定义的数据结构,里面是定义的一些属性。

关于proto2的语法,可参考:Protobuf 语法指南

proto3的语法格式,可参考:protobuf3语法

这样,我们就定义好了一个.proto文件。接下来运行go get -u github.com/golang/protobuf/protoc-gen-go命令将protoc工具安装在$PATH/bin中,安装好之后,在data.proto目录下打开终端,输入protoc --go_out=. *.proto  会在同目录下生成data.pb.go文件,这个文件中包含了如下的函数:

(1) func(m*Person)Reset()  //重置

(2)func(m*Person) String() string    //将Person转化为字符串

(3)func(*Person)ProtoMessage()    //空函数

(4)func(*Person)Descriptor()([]byte,[]int)    //返回该文件的描述符和一个[]int{0}的切片

其中(1)(2)(3)函数实现了Message接口,见lib.go


现在在main函数来将Person对象进行编码和解码,见代码

packagemain

import(

    "fmt"

    "log"

    data  "protobuf3_test/data"  //导入data.pb.go所在的文件目录

    "github.com/golang/protobuf/proto"

)

func  main(){

    person := &data.Person{

         "初级赛亚人",

         "男",

         117,

    }

    protoData,err := proto.Marshal(person)    //将person编码成protobuf格式的数据

    if err != nil {

        log.Fatal("marshalingerror:",err)

    }

    fmt.Println("protobuf编码之后的数据=",protoData)

    newPerson := &data.Person{}

    err = proto.Unmarshal(protoData,newPerson)    //将protobuf的解码存入newPerson中

    if err != nil {

           log.Fatal("unmarshalingerror:",err)

    }

    fmt.Println("protobuf解码之后的数据=",newPerson)

    fmt.Println("newPerson.Name=",newPerson.Name)

    fmt.Println("newPerson.Sex=",newPerson.Sex)

    fmt.Println("newPerson.Age=",newPerson.Age)

    if person.String() != newPerson.String() {

        log.Fatalf("datamismatch%q!=%q",person.String(),newPerson.String())

    }

}

控制台打印的结果是:


至此完成了protobuf的编码与解码

你可能感兴趣的:(高效数据传输之protobuf)