linux使用msgpack及测试

linux使用msgpack及测试

转载自： http://blog.csdn.net/sunny3106/article/details/7375907

在网络程序的开发中，免不了会涉及到服务器与客户端之间的协议交互，由于客户端与服务器端的平台的差异性（有可能是windows，android，linux等等），以及网络字节序等问题，通信包一般会做序列化与反序列化的处理，也就是通常说的打包解包工作。google的protobuf是一个很棒的东西，它不仅提供了多平台的支持，而且直接支持从配置文件生成代码。但是这么强大的功能，意味着它的代码量以及编译生成的库文件等等都不会小，如果相对于手机游戏一两M的安装包来说，这个显然有点太重量级了（ps：查了一下protobuf2.4.1的jar的包大小有400k左右），而且在手机游戏客户端与服务器的交互过程中，很多时候基本的打包解包功能就足够了。

今天经同事推荐，查阅了一下msgpack相关的资料。msgpack提供快速的打包解包功能，官网上给出的图号称比protobuf快4倍，可以说相当高效了。最大的好处在与msgpack支持多语言，服务器端可以用C++，android客户端可以用java，能满足实际需求。

在实际安装msgpack的过程中，碰到了一点小问题，因为开发机器是32位机器，i686的，所以安装完后跑一个简单的sample时，c++编译报错，错误的表现为链接时报错：undefined reference to `__sync_sub_and_fetch_4'，后来参考了下面的博客，在configure时指定CFLAGS="-march=i686"解决，注意要make clean先。

msgpack官网地址：http://msgpack.org/

安装过程中参考的博客地址：http://blog.csdn.net/xiarendeniao/article/details/6801338

====================================================================================

====================================================================================

补上近期简单的测试结果

测试机器，cpu 4核 Dual-Core AMD Opteron(tm) Processor 2212，单核2GHz，1024KB cache, 内存4G。

1. 简单包测试

struct ProtoHead
{
    uint16_t uCmd;      // 命令字
    uint16_t uBodyLen;  // 包体长度(打包之后的字符串长度)
    uint32_t uSeq;      //消息的序列号，唯一标识一个请求
    uint32_t uCrcVal;           // 对包体的crc32校验值(如果校验不正确，服务器会断开连接)
};

struct ProtoBody
{
    int num;
    std::string str;
    std::vector<uint64_t> uinlst;
    MSGPACK_DEFINE(num, str, uinlst);
};

测试中省略了包头本地字节序与网络字节序之间的转化，只有包体做msgpack打包处理.

vector数组中元素数量为16个，每次循环做一次打包与解包，并验证前后数据是否一致，得到的测试结果如下:

总耗时(s)	循环次数	平均每次耗时(ms)
0.004691	100	0.04691
0.044219	1000	0.044219
0.435725	10000	0.043573
4.473818	100000	0.044738

总结：基本每次耗时0.045ms左右，每秒可以打包解包22k次，速度很理想。

2. 复杂包测试(vector嵌套)

struct test_node
{
    std::string str;
    std::vector<uint32_t> idlst;

    test_node()
    {
        str = "it's a test node";

        for (int i = 0; i++; i < 10)
        {
            idlst.push_back(i);
        }
    }

    bool operator == (const test_node& node) const
    {
        if (node.str != str)
        {
            return false;
        }

        if (node.idlst.size() != idlst.size())
        {
            return false;
        }

        for (int i = 0; i < idlst.size(); i++)
        {
            if (idlst[i] != node.idlst[i])
            {
                return false;
            }
        }
        return true;
    }

    MSGPACK_DEFINE(str, idlst);
};

struct ProtoBody
{
    int num;
    std::string str;
    std::vector<uint64_t> uinlst;
    std::vector<test_node> nodelst;

    MSGPACK_DEFINE(num, str, uinlst, nodelst);
};

每个nodelst中插入16个node，每个node中的idlst插入16个id，同1中的测试方法，得到测试结果如下：

总耗时(s)	循环次数	平均每次耗时(ms)
0.025401	100	0.25401
0.248396	1000	0.248396
2.533385	10000	0.253339
25.823562	100000	0.258236

基本上每次打包解包一次要耗时0.25ms，每秒估算可以做4k次打包解包，速度还是不错的。

3. 加上crc校验

如果每个循环中，打包过程加上crc的计算，解包过程中加上crc校验，得到测试结果如下：

总耗时(s)	循环次数	平均每次耗时(ms)
0.025900	100	0.25900
0.260424	1000	0.260424
2.649585	10000	0.264959
26.855452	100000	0.268555

基本上每次打包解包耗时0.26ms左右，与没有crc差别不大；