BeansDB学习

最近学习了一下豆瓣的分布式 Key/Value 存储系统 BeansDB(v0.5.3)。

BeansDB 的作者 Davies 写的关于 BeansDB 的介绍:《beansdb卷土重来》。
BeansDB 的项目主页:http://code.google.com/p/beansdb/
用户手册:http://code.google.com/p/beansdb/wiki/UserGuide
下载地址:http://code.google.com/p/beansdb/downloads/list

下载之后参照用户手册上的说明编译安装即可,非常简单。

启动 BeansDB 也很简单,如:

1
beansdb -d -p 7900 -H testdb

其中 -p 指定端口,-H 指定数据文件存放的目录。

BeansDB 发布版中带有 Python 接口,用法如下(来自官网手册):

1
2
3
4
5
6
7
8
9
10
11
12
13
#python
from dbclient import Beansdb
 
cfg = {
  "localhost:7901": range(16),
  "localhost:7902": range(16),
  "localhost:7903": range(16),
}
 
db = Beansdb(cfg, 16)
db.set('key', 'value')
v = db.get('key')
db.delete('key')

BeansDB 非常简单,基本上它只有三个操作:set、get以及delete。它甚至没有直接提供遍历所有 key 的方法,遍历所有 key 的话,需要 get(‘@’),然后继续遍历,不过,在数据量很大的情况下,这个遍历可能会花比较长的时间。

BeansDB 采用了 Bitcask 设计,将所有 key 的信息都保存在内存中。这样的好处是查找会特别快,但一个直接的缺点就是机器的内存限制了能存放的 key 的数目的上限。根据《beansdb卷土重来》中的介绍,一个 key 大约占用 20 字节,这样一台 8G 内存的服务器将可以存储约 4 亿个 key。当然,key 所对应的 value 是存储在硬盘上的。

BeansDB 比较适合存储中等大小的写入后就很少变化的内容,比如图片;不适合存储大量小碎片内容或会频繁更改的内容,比如日志;也不适合存储太大的文件,根据作者 Davies 的说法,BeansDB 默认设置单文件不超过 50M,实际上用它存储超过 10M 的文件感觉都不太合适。

另外,随着硬盘越来越便宜,目前各大 NoSQL 存储系统似乎都不太关心硬盘的占用量,为了追求写入速度,普遍使用追加的方式写新数据,当一个 key 的值发生变化时,系统只是在硬盘上追加一条记录,并不会把原来的值从硬盘上删除。这样一来,如果你存储的内容经常变化,一段时间后,你会发现硬盘占用量只 增不减。

请教了作者 Davies 之后,关于这个问题得到以下解决方案:

目前没有提供相关工具,可以用telnet 来控制:

1
2
telnet localhost 7900
flush_all 0

这样对应的节点就会执行优化操作,tail -f /var/log/beansdb.log 能看到优化的信息,如果运行的时候设置的Log文件的话。

总的来说,BeansDB 安装和使用都非常简单,性能也不错,而且是国人开发的。如果有类似于大量图片存储这样的需求,可以尝试一下。

你可能感兴趣的:(BeansDB)