.ttserver安装 + ttserver起停脚本(双主备) + java代码


1,下载tokyocabinet-1.4.46.tar.gz
     下载tokyotyrant-1.1.41.tar.gz
      要在本地连接可以选择下载tokyocabinet-java-1.22.tar.gz
详细安装文档http://www.162cm.com/p/tokyotyrant.html

2,解压缩后进入目录:先安装tokyocabinet-1.4.46.tar.gz,再安装tokyotyrant-1.1.41.tar.gz
   
     安装方法:
          cd进入对应目录
          ./configure
          make
          make install

3,写个脚本来启动,这里假设192.168.0.2和192.168.0.3互为主备机
192.168.0.2
     
Java代码 
1. 
2.#author:Alex  
3.case $1 in  
4.    "start" )  
5.        echo "startng ttservice......" 
6.        ttserver -port 11211 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ul                                                                           og -ulim 128m -sid 60 -mhost 192.168.0.3 -mport 11212 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/                                                                           casket.tch#bnum=1000000 
7.        echo "ttserver started.";;  
8.    "stop" )  
9.        echo "stoping ttservice......" 
10.        killall -9 ttserver  
11.        rm -f /opt/ttserver/pid  
12.#cat /opt/ttserver/pid | kill -9 
13.        echo "ttservice stoped.";;  
14.    "restart")  
15.        echo "shutdown ttserver...." 
16.        killall -9 ttserver  
17.        rm -f /opt/ttserver/pid  
18.        sleep 5 
19.        echo "restart ttserver..." 
20.        ttserver -port 11211 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ul                                                                           og -ulim 128m -sid 60 -mhost 192.168.0.3 -mport 11212 -rcc -dmn -rts     /opt/ttserver/rts /opt/ttser                                                                           ver/casket.tch#bnum=1000000 
21.        echo "ttserver started.";;  
22. 
23.    "clean")  
24.        echo "clean db" 
25.        rm -f /opt/ttserver/casket.tch;;  
26.    *) echo "unknown command.[usage:start|stop|restart]";;  
27.esac  
28. 
29.    

#author:Alex
case $1 in
    "start" )
        echo "startng ttservice......"
        ttserver -port 11211 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ul                                                                           og -ulim 128m -sid 60 -mhost 192.168.0.3 -mport 11212 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/                                                                           casket.tch#bnum=1000000
        echo "ttserver started.";;
    "stop" )
        echo "stoping ttservice......"
        killall -9 ttserver
        rm -f /opt/ttserver/pid
#cat /opt/ttserver/pid | kill -9
        echo "ttservice stoped.";;
    "restart")
        echo "shutdown ttserver...."
        killall -9 ttserver
        rm -f /opt/ttserver/pid
        sleep 5
        echo "restart ttserver..."
        ttserver -port 11211 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ul                                                                           og -ulim 128m -sid 60 -mhost 192.168.0.3 -mport 11212 -rcc -dmn -rts     /opt/ttserver/rts /opt/ttser                                                                           ver/casket.tch#bnum=1000000
        echo "ttserver started.";;

    "clean")
        echo "clean db"
        rm -f /opt/ttserver/casket.tch;;
    *) echo "unknown command.[usage:start|stop|restart]";;
esac

  
192.168.0.3
  
Java代码 
1.#author Alex  
2.case $1 in  
3.    "start" )  
4.        echo "startng ttservice......" 
5.        ttserver -port 11212 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ulog -ulim 128m -sid 117 -mhost 192.168.0.2 -mport 11211 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/casket.tch#bnum=1000000 
6.        echo "ttserver started.";;  
7.    "stop" )  
8.        echo "stoping ttservice......" 
9.        killall -9 ttserver  
10.        rm -f /opt/ttserver/pid  
11.        echo "ttservice stoped.";;  
12.    "restart")  
13.        echo "shutdown ttserver...." 
14.        killall -9 ttserver  
15.        rm -f /opt/ttserver/pid  
16.        sleep 5 
17.        echo "restart ttserver..." 
18.        ttserver -port 11212 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ulog -ulim 128m -sid 117 -mhost 192.168.0.2 -mport 11211 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/casket.tch#bnum=1000000 
19.        echo "ttserver started.";;  
20. 
21.    "clean")  
22.        echo "clean db" 
23.        rm -f /opt/ttserver/casket.tch;;  
24.    *) echo "unknown command.[usage:start|stop|restart]";;  
25.esac 
#author Alex
case $1 in
    "start" )
        echo "startng ttservice......"
        ttserver -port 11212 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ulog -ulim 128m -sid 117 -mhost 192.168.0.2 -mport 11211 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/casket.tch#bnum=1000000
        echo "ttserver started.";;
    "stop" )
        echo "stoping ttservice......"
        killall -9 ttserver
        rm -f /opt/ttserver/pid
        echo "ttservice stoped.";;
    "restart")
        echo "shutdown ttserver...."
        killall -9 ttserver
        rm -f /opt/ttserver/pid
        sleep 5
        echo "restart ttserver..."
        ttserver -port 11212 -dmn -pid /opt/ttserver/pid -log /opt/ttserver/log -ulog /opt/ttserver/ulog -ulim 128m -sid 117 -mhost 192.168.0.2 -mport 11211 -rcc -dmn -rts /opt/ttserver/rts /opt/ttserver/casket.tch#bnum=1000000
        echo "ttserver started.";;

    "clean")
        echo "clean db"
        rm -f /opt/ttserver/casket.tch;;
    *) echo "unknown command.[usage:start|stop|restart]";;
esac


4,http协议访问
    curl  http://localhost:11211/key返回value
    curl -X PUT http://localhost:11211/keyname -d "strvalue"
5,java代码(节选自自己的测试代码)
需要的jar包:tokyotyrant-0.11.jar\slf4j-api-1.6.1.jar\slf4j-nop-1.6.1.jar\netty-3.2.2.Final-dist.jar
     
Java代码 
1.import tokyotyrant.MRDB;  
2.import tokyotyrant.networking.NodeAddress;  
3. 
4.import com.xx.xxxx.service.Cache;  
5. 
6.public class TTCache implements Cache {  
7.      
8.    private MRDB mrdb;  
9.    private NodeAddress[] addresses;  
10.      
11.    public RemoteTokyocanbinetCache( NodeAddress[] addresses) {  
12.        this.addresses = addresses;  
13.    }  
14.      
15.    public void open() throws Exception {  
16.        mrdb = new MRDB();  
17.        mrdb.open(addresses);  
18.    }  
19.      
20.    public Object get(String key) {  
21.        return mrdb.await(mrdb.get(key));  
22.    }  
23. 
24.    public void put(String key, Object obj) {  
25.        mrdb.await(mrdb.put(key, obj));  
26.    }  
27. 
28.    public void remove(String key) {  
29.        mrdb.out(key);  
30.        mrdb.await(mrdb.sync());  
31.    }  
32.      
33.    public void close() {  
34.        mrdb.close();  
35.    }  
36. 
37.} 
import tokyotyrant.MRDB;
import tokyotyrant.networking.NodeAddress;

import com.xx.xxxx.service.Cache;

public class TTCache implements Cache {

private MRDB mrdb;
private NodeAddress[] addresses;

public RemoteTokyocanbinetCache( NodeAddress[] addresses) {
this.addresses = addresses;
}

public void open() throws Exception {
mrdb = new MRDB();
mrdb.open(addresses);
}

public Object get(String key) {
return mrdb.await(mrdb.get(key));
}

public void put(String key, Object obj) {
mrdb.await(mrdb.put(key, obj));
}

public void remove(String key) {
mrdb.out(key);
mrdb.await(mrdb.sync());
}

public void close() {
mrdb.close();
}

}




6,补充相关内容(来自网络)
Tokyo Cabinet

Tokyo Cabinet (简称TC)是Mikio Hirabayashi开发的一种DBM的开发库,其数据文件只有一个,里面存放多个<key,value>的数据记录,所有操作都是依据 key做主键操作。key,value都可以是连续不定长,即可以是二进制,也可是是字符串。数据文件中的记录组织有三种模式,hash表,B+树,定长数组。

做为hash表,主键key必须是唯一的,方法有:按key来存储value到一个记录,按key来删除一个记录,按key来获取一个记录的 value。另外还有一个获取所有key的方法,获取的key是不排序的。TC可以做为NDBM,GBM的替代品,因为有更高的性能。

当采用B+树时,可以存储相同key的多条记录,有存储,删除,读取的方法,还可以按照一定顺序来读取记录。

做为一个定长数组,key必须是自然数,其它的和hash表完全一样,因为key是自然数,所以速度比hash表要快。

以上三种数据库即可以只保存在内存中,也可以指定保持到硬盘。应用最广泛的,当然就是hash表了。

Tokyo Tyrant

单单的TC数据库,用处不大,宿主程序需要进行很多开发。TC的作者开发了Tokyo Tyrant(TT)这个网络服务程序,除了自己的二进制协议,还提供了现在被广泛应用的HTTP协议,memcached协议来访问TC数据库,这样一来,一下子就扩展了TC的使用范围,让TC从一个单纯的开发库变成了易用,高效的数据库系统。

TT支持的协议包括memcached的持续连接,http1.1的长连接,并且数据文件,有热备,更新日志,复制功能,这些都给TT很高的可用性和高性能。并且,TT内嵌lua脚本的支持,可以对数据进行处理。(看来lua脚本已经是unix下内嵌脚本的首选了)。目前(2008.12)为止TT 只能运行在linux,freebsd,macos系统上。


TT的服务器程序是ttserver,默认端口1978(作者的出生在1978?后来在他主页得到了验证)。在启动的时候,根据参数 dbname名来确定使用的TC数据库类型。如果为"*",则使用内存hash表,如果为"+",则使用内存B+库,如果后缀为".tch",则使用 hash表,如果后缀为".tcb",则使用B+树数据库,如果后缀为".tcf",则使用定长数组。如果dbname参数被省略,则采用内存hash数据库。

在ttserver众多的启动参数中,有两个参数在正式使用时非常有用,-mask expr, -unmask expr,分别是禁止的命令,允许的命令。在正式使用时,最好能把vanish(删除所有数据)屏蔽掉,就像linux系统中把rm -rf * 屏蔽了一样。

ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [-ext path] [-mask expr] [-unmask expr] [dbname]

  -host name : 指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址。
  -port num : 指定需要绑定的端口号。默认端口号为1978
  -thnum num : 指定线程数。默认为8个线程。
  -tout num : 指定每个会话的超时时间(单位为秒)。默认永不超时。
  -dmn : 以守护进程方式运行。
  -pid path : 输出进程ID到指定文件(这里指定文件名)。
  -log path : 输出日志信息到指定文件(这里指定文件名)。
  -ld : 在日志文件中还记录DEBUG调试信息。
  -le : 在日志文件中仅记录错误信息。
  -ulog path : 指定同步日志文件存放路径(这里指定目录名)。
  -ulim num : 指定每个同步日志文件的大小(例如128m)。
  -uas : 使用异步IO记录更新日志(使用此项会减少磁盘IO消耗,但是数据会先放在内存中,不会立即写入磁盘,如果重启服务器或ttserver进程被kill掉,将导致部分数据丢失。一般情况下不建议使用)。
  -sid num : 指定服务器ID号(当使用主辅模式时,每台ttserver需要不同的ID号)
  -mhost name : 指定主辅同步模式下,主服务器的域名或IP地址。
  -mport num : 指定主辅同步模式下,主服务器的端口号。
  -rts path : 指定用来存放同步时间戳的文件名。
  (以上cp自http://blog.s135.com/post/362.htm)
  -ext path : 扩展的脚本文件
  -mask expr : 需要禁止的命令,多个命名用","隔开
  -unmaks expr : 允许的命令
   除了覆盖TC基本的操作命令,例如put,get,out,等,还有一些另类的表达式:all:所有命令,allorg:所有的二进制协议,allmc:所有的memcached协议,allhttp:所有的http协议, "allread" is the abbreviation of `get\', `mget\', `vsiz\', `iterinit\', `iternext\', `fwmkeys\', `rnum\', `size\', and `stat\'. "allwrite" is the abbreviation of `put\', `putkeep\', `putcat\', `putshl\', `putnr\', `out\', `addint\', `adddouble\', and `vanish\'. "allmanage" is the abbreviation of `sync\', `copy\', `restore\', and `setmst\'. "repl" means replication as master. "slave" means replication as slave.

如果不想这么麻烦的启动,可以使用ttservctl简单的命令来控制。ttservctl start,stop,restart,hup。使用这个命令,数据库文件位于/var/ttserver/casker.tch,log等相关文件位于 /var/ttserver。

ttulmgr:用来在二进制ulog文件(update log)和text格式的TSV文件之间转换

ttserver对外有三种协议,可以用curl程序调用http协议访问,可tt自带的客户端程序,使用私有二进制协议访问。

tcrtest :测试程序, tc remote test
tcrmttest :多线程测试程序 tc multi-thread test
两个测试程序写入的数据key,value均是8字节的,按照00000001,00000002格式

tcrtest write host rnum : 写入 rnum条记录(是重新写,不是追加)
tcrtest read host : 读出所有记录
tcrtest remote host : 删除所有记录

tcrmgr : 测试和调试ttserver的程序,很多用法就就见官方文档了,主要有:
tcrmgr inform host: 获取服务器的信息
tcrmgr put host key value : 添加记录
tcrmgr get host key : 获取记录
tcrmgr out host key : 删除记录
tcrmgr list host : 列出数据库中所有的key(这个在memcached中是需要patch才能实现的)
tcrmgr vanish host : 删除所有数据
还有一些命名是和主从同步,备份相关的

ttserver和用户数据库

TC,ttserver这种DBM方式的数据库,对我们目前的应用来说,最适合的是用来作用户数据库,完全用userid做key。通常存储用户数据库,都使用的是关系型数据库,例如:mysql,pgsql,oracle。从用户数据库特性(数据格式单一,访问量大等)来说,DBM格式是最适合的。在采用TC,ttserve上,最大的问题就是技术支持和持久性。仔细分析这点,对很多普通公司(不深入到opensource代码级)来说,用 mysql,pgsql,oracle等,有了问题,也就是用这些数据库提供的管理命令弄弄,调调参数,重启,从备份中恢复。其实和你使用 TC,ttserver,可做的事情都是一样。再退一万步来说,如果真需要深入到源代码级寻找问题,TC,ttserve两个加起来才1M不到,和 mysql,pgsql源代码的复杂程度的几十分之一。
google的账户数据库就是<key,value>形式的Berkeley DB (简称:BDB,已经被oracle收购了), Google. Accounts uses Berkeley DB HA for the storage and retrieval of user 。

ttserver和memcached

ttserver是数据库,memcached是缓存。两者都是保存<key,value>形式的数据,通过key进行任何操作。 ttserver可以将数据持久化保存,memcached全部是保存在内存中,memcached会自动删除过期数据,最长不超过30天。 memcached在和一些api配合时,能自动进行数据的出入序列化,读取反序列化。ttserver有主从复制的功能,操作日志等,这完全是数据库才有的东西。据说memcached正在对整体架构做调整,到时候支持plugin机制.会把网络,事件处理,内存存储剥离开来.以后要做基于磁盘的 key-value存储就可以写一个存储引擎就成了。memcached的二次开发又步入一个小高潮。

TC和BDB

BDB配置开发起来比较麻烦,因为它没有ttserver这个一样的网络接口。BDB的数据文件会比较大,有时需要执行文件收缩,利用BDB开发的memcachedb就有这种问题。BDB开发已经很长时间了,成熟度高,无论是bug,支持,资料会比tc要好很多。

ttserver和关系型数据库

ttserver是<key,value>形式,在根据key进行读取,写入时速度是飞快的,但在做统计的时候,就比较麻烦了,还是需要自己写程序,从ulog中到处log,转换成sql语句,后台写入关系型数据库,然后再利用成熟的接口,逻辑,进行统计。或者应用在更改 ttserver时,发送消息(mq,syslog等)到辅助进程,辅助进程进行相应的数据操作。这种情况下,关系数据库完全是ttserver的另一种形式的存在,除了性能有所缺陷,在应用,统计上更加方便

你可能感兴趣的:(ttserver)