ttserver安装 + ttserver起停脚本（双主备） + java代码

阅读更多

by:alex
1，下载tokyocabinet-1.4.46.tar.gz
     下载tokyotyrant-1.1.41.tar.gz
      要在本地连接可以选择下载tokyocabinet-java-1.22.tar.gz
详细安装文档 http://www.162cm.com/p/tokyotyrant.html

2，解压缩后进入目录：先安装tokyocabinet-1.4.46.tar.gz,再安装tokyotyrant-1.1.41.tar.gz
   
     安装方法：
          cd进入对应目录
          ./configure
          make
          make install

3，写个脚本来启动,这里假设192.168.0.2和192.168.0.3互为主备机
192.168.0.2
     

#author:Alex
case $1 in
    "start" )
        echo "startng ttservice......"
        ttserver -port 11211 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ul                                                                           og -ulim 128m -sid 60 -mhost 192.168.0.3 -mport 11212 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/                                                                           casket.tch#bnum=1000000
        echo "ttserver started.";;
    "stop" )
        echo "stoping ttservice......"
        killall -9 ttserver
        rm -f /opt/ttserver/pid
#cat /opt/ttserver/pid | kill -9
        echo "ttservice stoped.";;
    "restart")
        echo "shutdown ttserver...."
        killall -9 ttserver
        rm -f /opt/ttserver/pid
        sleep 5
        echo "restart ttserver..."
        ttserver -port 11211 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ul                                                                           og -ulim 128m -sid 60 -mhost 192.168.0.3 -mport 11212 -rcc -dmn -rts     /opt/ttserver/rts /opt/ttser                                                                           ver/casket.tch#bnum=1000000
        echo "ttserver started.";;

    "clean")
        echo "clean db"
        rm -f /opt/ttserver/casket.tch;;
    *) echo "unknown command.[usage:start|stop|restart]";;
esac

   

192.168.0.3
  

#author Alex
case $1 in
    "start" )
        echo "startng ttservice......"
        ttserver -port 11212 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ulog -ulim 128m -sid 117 -mhost 192.168.0.2 -mport 11211 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/casket.tch#bnum=1000000
        echo "ttserver started.";;
    "stop" )
        echo "stoping ttservice......"
        killall -9 ttserver
        rm -f /opt/ttserver/pid
        echo "ttservice stoped.";;
    "restart")
        echo "shutdown ttserver...."
        killall -9 ttserver
        rm -f /opt/ttserver/pid
        sleep 5
        echo "restart ttserver..."
        ttserver -port 11212 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ulog -ulim 128m -sid 117 -mhost 192.168.0.2 -mport 11211 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/casket.tch#bnum=1000000
        echo "ttserver started.";;

    "clean")
        echo "clean db"
        rm -f /opt/ttserver/casket.tch;;
    *) echo "unknown command.[usage:start|stop|restart]";;
esac

4，http协议访问
    curl  http://localhost:11211/key返回value
    curl -X PUT http://localhost:11211/keyname -d "strvalue"
5，java代码(节选自自己的测试代码)
需要的jar包:tokyotyrant-0.11.jar\slf4j-api-1.6.1.jar\slf4j-nop-1.6.1.jar\netty-3.2.2.Final-dist.jar
     

import tokyotyrant.MRDB;
import tokyotyrant.networking.NodeAddress;

import com.xx.xxxx.service.Cache;

public class TTCache implements Cache {
	
	private MRDB mrdb;
	private NodeAddress[] addresses;
	
	public RemoteTokyocanbinetCache( NodeAddress[] addresses) {
		this.addresses = addresses;
	}
	
	public void open() throws Exception {
		mrdb = new MRDB();
		mrdb.open(addresses);
	}
	
	public Object get(String key) {
		return mrdb.await(mrdb.get(key));
	}

	public void put(String key, Object obj) {
		mrdb.await(mrdb.put(key, obj));
	}

	public void remove(String key) {
		mrdb.out(key);
		mrdb.await(mrdb.sync());
	}
	
	public void close() {
		mrdb.close();
	}

}

6，补充相关内容（来自网络）
Tokyo Cabinet

Tokyo Cabinet (简称TC)是Mikio Hirabayashi开发的一种DBM的开发库，其数据文件只有一个，里面存放多个的数据记录，所有操作都是依据 key做主键操作。key，value都可以是连续不定长，即可以是二进制，也可是是字符串。数据文件中的记录组织有三种模式，hash表，B+树，定长数组。

做为hash表，主键key必须是唯一的，方法有：按key来存储value到一个记录，按key来删除一个记录，按key来获取一个记录的 value。另外还有一个获取所有key的方法，获取的key是不排序的。TC可以做为NDBM，GBM的替代品，因为有更高的性能。

当采用B+树时，可以存储相同key的多条记录，有存储，删除，读取的方法，还可以按照一定顺序来读取记录。

做为一个定长数组，key必须是自然数，其它的和hash表完全一样，因为key是自然数，所以速度比hash表要快。

以上三种数据库即可以只保存在内存中，也可以指定保持到硬盘。应用最广泛的，当然就是hash表了。

Tokyo Tyrant

单单的TC数据库，用处不大，宿主程序需要进行很多开发。TC的作者开发了Tokyo Tyrant(TT)这个网络服务程序，除了自己的二进制协议，还提供了现在被广泛应用的HTTP协议，memcached协议来访问TC数据库，这样一来，一下子就扩展了TC的使用范围，让TC从一个单纯的开发库变成了易用，高效的数据库系统。

TT支持的协议包括memcached的持续连接，http1.1的长连接，并且数据文件，有热备，更新日志，复制功能，这些都给TT很高的可用性和高性能。并且，TT内嵌lua脚本的支持，可以对数据进行处理。（看来lua脚本已经是unix下内嵌脚本的首选了）。目前(2008.12)为止TT 只能运行在linux，freebsd，macos系统上。


TT的服务器程序是ttserver，默认端口1978（作者的出生在1978？后来在他主页得到了验证）。在启动的时候，根据参数 dbname名来确定使用的TC数据库类型。如果为"*"，则使用内存hash表，如果为"+"，则使用内存B+库，如果后缀为".tch"，则使用 hash表，如果后缀为".tcb"，则使用B+树数据库，如果后缀为".tcf"，则使用定长数组。如果dbname参数被省略，则采用内存hash数据库。

在ttserver众多的启动参数中，有两个参数在正式使用时非常有用，-mask expr， -unmask expr，分别是禁止的命令，允许的命令。在正式使用时，最好能把vanish（删除所有数据）屏蔽掉，就像linux系统中把rm -rf * 屏蔽了一样。

ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [-ext path] [-mask expr] [-unmask expr] [dbname]

　　-host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
　　-port num : 指定需要绑定的端口号。默认端口号为1978
　　-thnum num : 指定线程数。默认为8个线程。
　　-tout num : 指定每个会话的超时时间（单位为秒）。默认永不超时。
　　-dmn : 以守护进程方式运行。
　　-pid path : 输出进程ID到指定文件（这里指定文件名）。
　　-log path : 输出日志信息到指定文件（这里指定文件名）。
　　-ld : 在日志文件中还记录DEBUG调试信息。
　　-le : 在日志文件中仅记录错误信息。
　　-ulog path : 指定同步日志文件存放路径（这里指定目录名）。
　　-ulim num : 指定每个同步日志文件的大小（例如128m）。
　　-uas : 使用异步IO记录更新日志（使用此项会减少磁盘IO消耗，但是数据会先放在内存中，不会立即写入磁盘，如果重启服务器或ttserver进程被kill掉，将导致部分数据丢失。一般情况下不建议使用）。
　　-sid num : 指定服务器ID号（当使用主辅模式时，每台ttserver需要不同的ID号）
　　-mhost name : 指定主辅同步模式下，主服务器的域名或IP地址。
　　-mport num : 指定主辅同步模式下，主服务器的端口号。
　　-rts path : 指定用来存放同步时间戳的文件名。
　　(以上cp自http://blog.s135.com/post/362.htm)
　　-ext path : 扩展的脚本文件
　　-mask expr : 需要禁止的命令，多个命名用"，"隔开
　　-unmaks expr : 允许的命令
　　　除了覆盖TC基本的操作命令，例如put，get，out，等，还有一些另类的表达式：all：所有命令，allorg：所有的二进制协议，allmc：所有的memcached协议，allhttp：所有的http协议， "allread" is the abbreviation of `get\'， `mget\'， `vsiz\'， `iterinit\'， `iternext\'， `fwmkeys\'， `rnum\'， `size\'， and `stat\'. "allwrite" is the abbreviation of `put\'， `putkeep\'， `putcat\'， `putshl\'， `putnr\'， `out\'， `addint\'， `adddouble\'， and `vanish\'. "allmanage" is the abbreviation of `sync\'， `copy\'， `restore\'， and `setmst\'. "repl" means replication as master. "slave" means replication as slave.

如果不想这么麻烦的启动，可以使用ttservctl简单的命令来控制。ttservctl start，stop，restart，hup。使用这个命令，数据库文件位于/var/ttserver/casker.tch，log等相关文件位于 /var/ttserver。

ttulmgr：用来在二进制ulog文件(update log)和text格式的TSV文件之间转换

ttserver对外有三种协议，可以用curl程序调用http协议访问，可tt自带的客户端程序，使用私有二进制协议访问。

tcrtest ：测试程序， tc remote test
tcrmttest ：多线程测试程序 tc multi-thread test
两个测试程序写入的数据key，value均是8字节的，按照00000001，00000002格式

tcrtest write host rnum : 写入 rnum条记录（是重新写，不是追加）
tcrtest read host : 读出所有记录
tcrtest remote host : 删除所有记录

tcrmgr : 测试和调试ttserver的程序，很多用法就就见官方文档了，主要有：
tcrmgr inform host: 获取服务器的信息
tcrmgr put host key value : 添加记录
tcrmgr get host key : 获取记录
tcrmgr out host key : 删除记录
tcrmgr list host : 列出数据库中所有的key（这个在memcached中是需要patch才能实现的）
tcrmgr vanish host : 删除所有数据
还有一些命名是和主从同步，备份相关的

ttserver和用户数据库

TC，ttserver这种DBM方式的数据库，对我们目前的应用来说，最适合的是用来作用户数据库，完全用userid做key。通常存储用户数据库，都使用的是关系型数据库，例如：mysql，pgsql，oracle。从用户数据库特性（数据格式单一，访问量大等）来说，DBM格式是最适合的。在采用TC，ttserve上，最大的问题就是技术支持和持久性。仔细分析这点，对很多普通公司（不深入到opensource代码级）来说，用 mysql，pgsql，oracle等，有了问题，也就是用这些数据库提供的管理命令弄弄，调调参数，重启，从备份中恢复。其实和你使用 TC，ttserver，可做的事情都是一样。再退一万步来说，如果真需要深入到源代码级寻找问题，TC，ttserve两个加起来才1M不到，和 mysql，pgsql源代码的复杂程度的几十分之一。
google的账户数据库就是形式的Berkeley DB (简称：BDB，已经被oracle收购了)， Google. Accounts uses Berkeley DB HA for the storage and retrieval of user 。

ttserver和memcached

ttserver是数据库，memcached是缓存。两者都是保存形式的数据，通过key进行任何操作。 ttserver可以将数据持久化保存，memcached全部是保存在内存中，memcached会自动删除过期数据，最长不超过30天。 memcached在和一些api配合时，能自动进行数据的出入序列化，读取反序列化。ttserver有主从复制的功能，操作日志等，这完全是数据库才有的东西。据说memcached正在对整体架构做调整，到时候支持plugin机制.会把网络，事件处理，内存存储剥离开来.以后要做基于磁盘的 key-value存储就可以写一个存储引擎就成了。memcached的二次开发又步入一个小高潮。

TC和BDB

BDB配置开发起来比较麻烦，因为它没有ttserver这个一样的网络接口。BDB的数据文件会比较大，有时需要执行文件收缩，利用BDB开发的memcachedb就有这种问题。BDB开发已经很长时间了，成熟度高，无论是bug，支持，资料会比tc要好很多。

ttserver和关系型数据库

ttserver是形式，在根据key进行读取，写入时速度是飞快的，但在做统计的时候，就比较麻烦了，还是需要自己写程序，从ulog中到处log，转换成sql语句，后台写入关系型数据库，然后再利用成熟的接口，逻辑，进行统计。或者应用在更改 ttserver时，发送消息(mq,syslog等)到辅助进程，辅助进程进行相应的数据操作。这种情况下，关系数据库完全是ttserver的另一种形式的存在，除了性能有所缺陷，在应用，统计上更加方便。