各种序列化库的体验

这里只用python来分析说明。

python自带的两个cPickle, marshal

我用过或尝试过的包括simplejson, AMF， protoBuf, MessagePack

就这些来分析比较一下吧。

import time
import cPickle
import simplejson
import marshal
import msgpack
import cjson


test_obj = ['abc', 123, {"abc":123}, ("abc", 123), 4.56]
times = 100000


st = time.clock()
for x in xrange(times):
    cPickle.loads(cPickle.dumps(test_obj))
print 'cPickle process %s times used %s '%(times, time.clock()-st)


st = time.clock()
for x in xrange(times):
    simplejson.loads(simplejson.dumps(test_obj))
print 'simplejson process %s times used %s '%(times, time.clock()-st)


st = time.clock()
for x in xrange(times):
    cjson.decode(cjson.encode(test_obj))
print 'cjson process %s times used %s '%(times, time.clock()-st)


st = time.clock()
for x in xrange(times):
    marshal.loads(marshal.dumps(test_obj))
print 'marshal process %s times used %s '%(times, time.clock()-st)


st = time.clock()
for x in xrange(times):
    msgpack.loads(msgpack.dumps(test_obj))
print 'msgpack use loads/dumps process %s times used %s '%(times, time.clock()-st)


st = time.clock()
packer = msgpack.Packer()
unpacker = msgpack.Unpacker()
for x in xrange(times):
    unpacker.feed(packer.pack(test_obj))
    unpacker.unpack()
print 'msgpack use Packer/Unpacker process %s times used %s '%(times, time.clock()-st)

我本机的运行结果：
cPickle process 100000 times used 1.63 
simplejson process 100000 times used 2.45 
cjson process 100000 times used 0.91 
marshal process 100000 times used 0.28 
msgpack use loads/dumps process 100000 times used 1.17 
msgpack use Packer/Unpacker process 100000 times used 0.28 

可以看出marshal是很快的，但它有版本不兼容问题， simplejson比较慢，但好像有个cjson比cPickle还快， MessagePack使用loads/dumps速度和cPickle差不多， 使用pcker/unpacker则快很多，它号称比json快10倍，比protobuf快4倍，呵呵，不过我本地安装msgpack-idl --install python 一直没有成功，说没有gem包，就不能用来和protobuf进行比较了

剩下两种AMF, ProtoBuf则真正在rpc里用的比较多，上面几种都有不同的缺点， 比如cross language就不够好， 而AMF和protobuf这方面则作的不错， AMF出来的东西长度要长一些，因为它包括类型信息，而protobuf则只有数据信息，要小很多。 这是两种不同的设计哲学。今天太晚了，以后有空把这两种的使用和比较测试也写一下。