Tokyo Tyrant数据压缩


转载自：http://www.cnblogs.com/sunli/archive/2010/02/05/1664712.html

 

由于忙于工作，好久继续写关于ttserver的东西了。最近由于服务器准备的原因，只能在32位上做ttserver的测试，很快数据就达到2G，ttserver无法正常工作，于是想到了ttserver的压缩功能，发现压缩比例挺大。所以进行了一些测试并在项目中做了一些应用。本文将展示在64下面进行压缩的压缩比以及进行压缩的好处。

 

压缩测试


数据：2720268条原始新闻数据，每条数据使用json格式进行存储。

A机器ttserver配置：casket.tch#bnum=100000000#xmsiz=524288000#rcnum=200000#opts=ld

B机器ttserver配置：casket.tch#bnum=100000000#xmsiz=524288000#rcnum=200000


分别把原始新闻数据存储A机器和B机器。其中A和B的ulog日志文件大小都为19G。接下来来看ttserver的数据库文件大小，A机器（有压缩）6.1G，B机器 （无压缩）17G。压缩后大概只占原来文件的1/3。


配置中的#opts=ld的d表示使用压缩。关于opts可以参考官方的原话：

"opts" can contains "l" of large option, "d" of Deflate option, "b" of BZIP2 option, and "t" of TCBS option.


经过初步测试，d是速度比较快的一种了。

 

压缩的优点


存储空间,压缩首先给人带来的优点肯定就是节约存储空间，这点在服务器空间不足的情况下使用非常有用，当然，你在32位2G文件大小的限制下，使用压缩的话就可以存储更多的数据。


IO性能：经过压缩，数据本身变得小了，对磁盘的IO也会相应减小，如果你的磁盘IO对你的应用形成了瓶颈，那么压缩也是可以为你来带益处的。对于IO的性能提高在硬盘结构和工作方式上也能得到解释。

 

压缩的缺点


使用压缩肯定就会耗费CPU资源了，所以CPU和空间只是一个权衡，根据经验，一般来说使用压缩都是没有问题的。比如nginx的gzip压缩静态文件（js,css）。

 

ttserver的压缩跟memcached的压缩的比较


提到了比较，肯定就有不一样的地方。ttserver使用了内部压缩，就是服务器端（ttserver）负责压缩。而memcached的压缩则是客户端进行的，memcached只是负责存储压缩后的数据。客户端client根据flag参数来确定是否解压。ttserver是服务器负责压缩，memcache是客户端负责压缩。

 

ttserver输出的是解压后的数据，memcached输出的就是输入的压缩数据（数据使用压缩的情况）。这样就形成一个区别，memcached使用压缩后，由于输出的是压缩数据，会降低网络传输，而ttserver则不会有任何改变。