hdf5 vs cpickle

HDF5加载一个98M的文件用时:0.087s

cPickle加载一个50M的文件用时:7.6s

87倍啊。好厉害的样子。

HDF5加载一个8G的文件用时:52.278s

cPickle加载一个4G的文件用时:643.07s

12.3倍啊。已经很可以了。

还是建议大家用hdf5.

在压缩的时候请大家注意,图片最好选择格式为uint8.否则会很大,例如我的一个文件,用cPcikle 压缩是50M,结果默认的没有选择格式直接压到了99M,但是选择了uint8之后,就一下子压缩到了24M,很厉害呦,哈哈

我的是这样用的:

out_file=h5py.File('E:/temp/%s_%s.h5'% (video_name[3:],event_name) ,'w')
 out_file.create_dataset('pic',data=sample_container)



import numpy as np
import h5py
begain_t=time.time()
file=h5py.File('e:/pure_pos/20071101_E1_CAM1_Pointing.h5','r')
data=file['pic'][:]
print len(data[1])
print '%f'%(time.time()-begain_t)


你可能感兴趣的:(python,Python学习)