protobuf在嵌入式linux下的移植及c语言调用

关于什么是protobuf，网上搜搜一大堆，很多人用的都还是json，以为json是多种语言传输数据是万能的，看完了protobuf的实现，就明白了简单高效才是王道。

简单介绍：

protobuf很出名，是google开发的序列化库，很多公司都使用它作为接口的数据结构。地址：https://developers.google.com/protocol-buffers/ 
支持java、c++、go等多种语言，几乎所有主流语言都支持。

先在电脑上安装，随后交叉编译，

网上的教程大多是基于2.x的版本的，现在想用下最新的， 就编译了下3.6版本。编译环境Ubutu 14.04

官网下载：https://github.com/google/protobuf

https://github.com/google/protobuf/releases

protobuf-all-3.6.0.tar.gz

官网安装手册：https://github.com/google/protobuf/blob/master/src/README.md

sudo apt-get install 

autoconf automake libtool curl make g++ unzip

cd protobuf-3.6.0/

./configure --prefix=/usr/local/protobuf
make
make check
make install
protoc --version
cd /usr/local/protobuf/lib/pkgconfig
export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/
source /etc/profile

cd /etc/ld.so.conf.d
vi libprotobuf.conf  (/usr/local/protobuf/lib/pkgconfig/)
ldconfig

下面开始交叉编译：

export PATH=$PATH:/home/yang/b503/ctools/gcc-linaro-arm-linux-gnueabihf-4.9-2014.09_linux/bin
先把交叉编译链添加到当前的环境变量里，

然后配置configure,

我的配置如下:

CC=arm-linux-gnueabihf-gcc CXX=arm-linux-gnueabihf-g++ ./configure --prefix=/home/linux/arm/protobuf --host=arm-linux
注意：CXX一定要配置为-g++而非-gcc

--host这项也一定要指定，才是交叉编译

最后，make, make install

编译完毕，没有报错。

protobuf很出名，是google开发的序列化库，很多公司都使用它作为接口的数据结构。地址：https://developers.google.com/protocol-buffers/ 
支持java、c++、go等多种语言，几乎所有主流语言都支持，但是官方没给出c语言的支持。经过一番寻找，找到了protobuf-c。在github中有很多protobuf c版本的实现，不过个人感觉还是这个protobuf-c更直接。其github地址：https://github.com/protobuf-c/protobuf-c 。 

下面总结下protobuf-c 的编译和移植过程及遇到的问题：

首先版本要匹配，porotobuf-c 目前最新版本是1.30.需要依赖protobufcpp3,0以上的版本。以protobufcpp3.4为例。

在构建protobuf-c之前，我们需要安装一些依赖库：autoconf、automake、protobuffer、libtool，当然也需要一些基本的系统依赖（如：gcc-c++等）。autoconf、automake和libtool可以直接使用apt-get、yum、brew等安装。protobuffer虽然也可以使用libprotobuf，不过还是推荐源码安装。

构建protobuf-c

注意如果在构建protobuf-c之前没有安装protobuf的话，生成protobuf-c的configure文件肯定会报如下错误！！

configure: error: Package requirements (protobuf >= 2.6.0) were not 
met:No package ‘protobuf’ found

需要先下载protobufcpp 1.34,地址在：

https://github.com/google/protobuf/releases，

先编译protobufcpp1.34。

执行./configure了，但是根目录下居然没有configure文件，却有一个autogen.sh，原来是因为protobuf的编译方式做了修改，要执行autogen.sh才会生成configure脚本。

但在执行autogen.sh时出错了，因为google.com被墙了，我的虚拟机里无法下载gtest，于是手动下载googletest-release-1.5.0.zip,解压缩后，改名为gtest放在protobuf-1.34目录下. 

构建protobuf-c其实跟protobuffer几乎没任何区别，也是通过autogen.sh脚本生成configure配置脚本，然后执行make和install。但是需要注意的是protobuf-c在构建的时候不会自动把相关头文件拷贝到/usr/include下，需要手动拷贝。

从https://github.com/protobuf-c/protobuf-c.git 克隆下protobuf-c源码。

git clone https://github.com/protobuf-c/protobuf-c.git

与构建protobuffer一样，分别执行：

./autogen.sh

•  

接下来 make,make install

最后把头文件拷贝到/usr/include下

sudo cp -r /usr/local/protobuf-c/include/protobuf-c /usr/include 

按照网上教程，应该执行./configure了，但是根目录下居然没有configure文件，却有一个autogen.sh，原来是因为protobuf的编译方式做了修改，要执行autogen.sh才会生成configure脚本。

但在执行autogen.sh时出错了，因为google.com被墙了，我的虚拟机里无法下载gtest，于是手动下载googletest-release-1.5.0.zip,解压缩后，改名为gtest放在protobuf目录下 

configure: error: required protobuf header file not found

export PKG_CONFIG_PATH=/home/linux/arm/protobuf/lib/pkgconfig/

export PKG_CONFIG_PATH=/usr/local/protobuf3.4/lib/pkgconfig/

 

./configure --prefix=/usr/local/protobuf-c

protobuf-c 1.3.0

        CC:                     gcc -std=gnu99

        CFLAGS:                 -g -O2

        CXX:                    g++

        CXXFLAGS:               -g -O2

        LDFLAGS:                

        LIBS:                   

        prefix:                 /usr/local/protobuf-c

        sysconfdir:             ${prefix}/etc

        libdir:                 ${exec_prefix}/lib

        includedir:             ${prefix}/include

        pkgconfigdir:           ${libdir}/pkgconfig

        bigendian:              no

        protobuf version:       libprotoc 3.4.0

make ，make install 

root@yang-vir:/usr/local/protobuf-c/bin# ./protoc-c --version

protobuf-c 1.3.0

libprotoc 3.4.0

 

接下来再交叉编译：

 1、打包下载protobuf-c，地址：https://github.com/protobuf-c/protobuf-c

       2、解压后得到protobuf-c-master文件夹，进入该文件夹执行如下命令

       3、./autogen.sh

       4、CC=arm-linux-gnueabi-gcc CXX=g++ ./configure --host=arm-linux-gnueabi

       5、make

       6、等待完成，最终会在protobuf-c-master /protobuf-c/.libs目录下生成.so动态库

在给protobuf-c进行环境配置的时候，查找不到上一步所安装protobuf的库文件，而这些库文件又是通过pkgconfig配置进行查找的。 该配置文件此时是在/usr/local/lib/pkgconfig/下 ，也就是问题中所提示的：Consider adjusting the PKG_CONFIG_PATH environment variable if you
installed software in a non-standard prefix.  。所以我们只需要将PKG_CONFIG_PATH 指定到/usr/local/lib/pkgconfig/即可

在交叉编译protobufcpp3.4时会报个错，解决办法如下：

I just send #3934 to fix the issue. You can just edit the src/Makefile.am locally and remove the "BUILT_SOURCES = ..." line. After that "make" should work.

 

CC=arm-linux-gnueabihf-gcc CXX=arm-linux-gnueabihf-g++ ./configure --prefix=/home/linux/arm/protobuf-c --host=arm-linux

export PKG_CONFIG_PATH=/home/linux/arm/protobuf3.41/lib/pkgconfig/

 

附带一个使用示例：

1、首先写一个.proto扩展名的文件test.proto，内容格式如下

message test

{

    required uint32 test_1=1;

    required string test_2=2;

    required string test_3=3;

    required string test_4=4;   

}

2、执行命令生成.c和.h文件，protoc-c可执行文件已经预先生成了。

./protoc-c test.proto

3、写示例代码main.c：

解析：protobuf的核心就是pack和unpack以及最后的free_unpack，比如客户端要给服务端发送一个msg，客户端把pack好的pBuf缓冲区数据直接发出去，服务端收到数据之后，再从pBuf里面“取出”out结构体指针指向的msg，最后调用free_unpacked释放out就可以了。

//main.c
#include
#include
#include
 
#include "test.pb-c.h"
 
int main(void)
{
    Test msg,*out;
    unsigned char *pBuf;
    unsigned int Len;
    test__init(&msg);            //init default
 
    msg.test_1=1;
    msg.test_2="5149013220584027";
    msg.test_3="5149013108519750";
    msg.test_4="121212121";
 
    Len=test__get_packed_size(&msg);
 
    printf("msg pack size %d\n",Len);
 
    pBuf=malloc(Len);
    if(pBuf)
    {
        test__pack(&msg,pBuf);        //construct msg to pBuf
        FILE *fp =fopen("protobuf.txt","wb+");        //output raw
        if(fp)
        {
            fwrite(pBuf,Len,1,fp);
            fclose(fp);
            fp=NULL;
        }
 
        out=test__unpack(NULL,Len,pBuf);
        if(out)
        {
            printf("out->test_1=%d\n",((Test*)out)->test_1);
            printf("out->test_2=%s\n",((Test*)out)->test_2);
            printf("out->test_3=%s\n",((Test*)out)->test_3);
            printf("out->test_4=%s\n",((Test*)out)->test_4);
            test__free_unpacked(out,NULL);
        }
    }
 
    printf("End\n");
}
 

4、编译，最终生成main可执行文件，将main放在开发板上，注意，相关的libc库和libprotobuf-c.so链接库都放在了开发板上/usr/arm-linux-gnueabi/lib目录下，否则运行是找不到.so库的

arm-linux-gnueabi-gcc main.c -o main test.pb-c.c -I./ -lprotobuf-c -L./protobuf-c-arm/lib -Wl,-rpath,/usr/arm-linux-gnueabi/lib

5、运行./main

实现了msg消息发送给out输出，同样类型的消息,Json需要91个字节，protobuf只需要49个字节，其实json里面的键值对name是完全不需要传输的，因为通讯双方都知道对应的name，只需要传输的只是value，但是每次传输数据，都要把name都传来传去，消耗了大量的带宽和数据存储空间。

export PKG_CONFIG_PATH=/home/linux/arm/protobuf3.41/lib/pkgconfig/

arm-linux-gnueabihf-gcc main.c -o main test.pb-c.c -I./ -lprotobuf-c -L./lib

root@b503_lcd:/app/city_app/opt# ls

enGPIO.sh           libprotobuf-c.so.1  restart.sh~         setconfig.sh        test.out

libprotobuf-c.so    main                rz                  setconfig.sh~

root@b503_lcd:/app/city_app/opt# ./main

msg pack size 49

out->test_1=1

out->test_2=5149013220584027

out->test_3=5149013108519750

out->test_4=121212121

End

附录：

1、经过测试，我们发现，其实protobuf的原理很简单，和两端都是C语言实现的client/server直接传输结构体变量原理是一样的，我们都知道，C语言结构体成员的存储方式都是顺序存储。所以发送和接收方都按照对应的成员排列位置进行解析，就可以实现数据的传输。

2、但是protobuf设计初衷应该是为了适应不同的语言之间数据传输，像java写的server里面就没有结构体，所以就不能传输C写的client里面的结构体变量给对方，对方是解析不了的。另外protobuf在.proto文件里面指定了具体的位置编号，否则应该就没办法生成.c和.h文件，如果后续双方通讯格式要做调整，双方都使用同一个修改后的.proto文件重新生产对应的源文件，重新编译即可。

3、为什么说用protobuf比json简单高效，原因就是你用json传输数据，每次字符串里面都传输了一堆没用的数据，比如键值对的冒号，以及键值名字和值的双引号，还有大小括号，因为通讯双方都知道对应的键值名以及怎么解析json（如果不知道键值名字，收到的数据还怎么解析？）。

双方都有的数据还每次传来传去，不是浪费是什么？ 纯粹就是浪费带宽和存储，要传输的对方没有的数据，这才是有用数据。有人就说，这几个括号和键值名字能浪费多少带宽和空间，别小看这些小东西，假如数据交互量大和非常频繁，你就知道了，这里面的存储空间和带宽消耗差距是可怕惊人的。
测试结果如下：

yang@yang-vir:/mnt/hgfs/b503/new/protoc$ make
Building app...
arm-poky-linux-gnueabi-gcc  -march=armv7ve -marm -mfpu=neon  -mfloat-abi=hard -mcpu=cortex-a7 --sysroot=/opt/myir-imx-fb/4.1.15-2.0.1/sysroots/cortexa7hf-neon-poky-linux-gnueabi -c -g -Wall -I./ test.pb-c.c -o  test.pb-c.o    
arm-poky-linux-gnueabi-gcc  -march=armv7ve -marm -mfpu=neon  -mfloat-abi=hard -mcpu=cortex-a7 --sysroot=/opt/myir-imx-fb/4.1.15-2.0.1/sysroots/cortexa7hf-neon-poky-linux-gnueabi -c -g -Wall -I./ main.c -o  main.o    
Generating ...
arm-poky-linux-gnueabi-gcc  -march=armv7ve -marm -mfpu=neon  -mfloat-abi=hard -mcpu=cortex-a7 --sysroot=/opt/myir-imx-fb/4.1.15-2.0.1/sysroots/cortexa7hf-neon-poky-linux-gnueabi -o test_protoc ./test.pb-c.o ./main.o -L ./lib -g   -lprotobuf-c 
OK!
yang@yang-vir:/mnt/hgfs/b503/new/protoc$ ^C
yang@yang-vir:/mnt/hgfs/b503/new/protoc$ ls
test.pb-c.c  test.pb-c.o  lib   main.c  makefile    test_protoc
test.pb-c.h test.proto   main  main.o  protobuf-c
yang@yang-vir:/mnt/hgfs/b503/new/protoc$

arm-linux-gnueabihf-gcc main.c -o main test.pb-c.c -I./ -lprotobuf-c -L./lib

 

root@b503_lcd:/app/city_app/opt# ls

enGPIO.sh           libprotobuf-c.so.1  restart.sh~         setconfig.sh        test.out

libprotobuf-c.so    main                rz                  setconfig.sh~

root@b503_lcd:/app/city_app/opt# ./main

msg pack size 49

out->test_1=1

out->test_2=5149013220584027

out->test_3=5149013108519750

out->test_4=121212121

End

 

测试demo:

########################################
#makefile
########################################
#-rdynamic -pthread -lrt -lasound -lucgui -lpicc -licc -lmenures1 -LzfbAuth -lposoffline   -lhw_b503
#编译主程序
BINARY  := test_protoc
OBJ_DIR := ./
#CC= gcc
#LD= ld
CFLAGS=  -g -Wall -I./
LDSCRIPT=   -g   -lprotobuf-c
LDFLAGS= -L ./lib

SRC  = $(wildcard *.c)
DIR  = $(notdir $(SRC))
OBJS = $(patsubst %.c,$(OBJ_DIR)%.o,$(DIR))

.PHONY: clean 
all:  prebuild  $(BINARY)

prebuild:
    @echo Building app...

$(BINARY) : $(OBJS)
    @echo Generating ...
    $(CC) -o $(BINARY) $(OBJS) $(LDFLAGS) $(LDSCRIPT) 
    @echo OK!

$(OBJ_DIR)%.o : %.c
    $(CC) -c $(CFLAGS) $< -o  $@    
clean:
    rm -f $(OBJ_DIR)*.o
    @echo Removed!