Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.
Codis 由四部分组成:
Codis Proxy (codis-proxy)
Codis Manager (codis-config)
Codis Redis (codis-server)
ZooKeeper
codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.
codis-config 是Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态.
codis-server 是Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot的支持和原子的数据迁移指令. Codis 上层的codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.
Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy.
Codis 支持按照Namespace 区分不同的产品, 拥有不同的product name 的产品, 各项配置都不会冲突.
安装centos服务器3台:192.168.92.136,192.168.92.138,192.168.92.138
192.168.92.136:2181
192.168.92.137:2181
192.168.92.138:2181
192.168.92.136:18078
192.168.92.137:19000
192.168.92.138:19000
192.168.92.137:7000、192.168.92.137:7001(主、从)
192.168.92.138:7000、192.168.92.138:7001(主、从)
下载地址:http://zookeeper.apache.org/releases.html
tar xf zookeeper-3.4.6.tar.gz -C /usr/local/
配置文件存放在$ZOOKEEPER_HOME/conf/目录下,将zoo_sample.cfg文件名称改为zoo.cfg
mv zoo_sample.cfg zoo.cfg
编辑zoo.cfg: vizoo.cfg,添加节点
server.1=192.168.92.136:2888:3888
server.2=192.168.92.137:2888:3888
server.3=192.168.92.138:2888:3888
修改data路径:dataDir=/var/lib/zookeeper
在data路径下添加myid文件,内容存放pid,与server.x一致
执行:./bin/zkServer.sh start
地址:http://golangtc.com/static/go/go1.4.2.linux-amd64.tar.gz
tar xf go1.4.2.linux-amd64.tar.gz -C/usr/local/
vi /etc/profile,添加如下
GOROOT=/usr/local/go
GOPATH=/usr/local/go/work
source /etc/profile
Development Tool,git
yum install -y “Development Tool
“
yum install �Cy git
go get -u-d github.com/wandoulabs/codis
cd $GOPATH/src/github.com/wandoulabs/codis
./bootstrap.sh
make gotest
修改zookeeper地址和dashboard地址:vi config.ini
每个proxy的proxy_id必须不同
mkdir log
./bin/codis-config-c config.ini -L ./log/dashboard.log dashboard &
./bin/codis-config -c config.ini slot init �Cf
启动master:mkdir 7000
cp extern/redis-2.8.21/redis.conf 7000/
修改port、bind、maxmemory:vi 7000/redis.conf
启动:./bin/codis-server 7000/redis.conf
启动slave: mkdir 7001
cp extern/redis-2.8.21/redis.conf 7001/
修改port、bind、maxmemory:vi 7001/redis.conf
启动:./bin/codis-server 7001/redis.conf
./bin/codis-config -cconfig.ini server add 1 192.168.92.137:7000 master
./bin/codis-config -c config.ini server add1 192.168.92.137:7001 slave
192.168.92.138节点启动redis如上
./bin/codis-config -c config.ini slotrange-set 0 600 1 online
./bin/codis-config -c config.ini slotrange-set 601 1023 2 online
bin/codis-proxy -c config.ini -L ./log/proxy.log --cpu=1 --addr=0.0.0.0:19000--http-addr=0.0.0.0:11000 &
http://192.168.92.136:18087/admin/
将group_1的solt:599,600迁移到group_2
执行:bin/codis-config -c config.ini slot migrate 599 600 2 --delay=10
Codis 支持动态的根据实例内存, 自动对slot进行迁移, 以均衡数据分布.
要求:
所有的codis-server都必须设置了maxmemory参数
所有的 slots 都应该处于 online 状态, 即没有迁移任务正在执行
所有 server group 都必须有 Master
$ bin/codis-config slot rebalance
当一个group的master挂掉的时候,codis不会自动的将某个slave升级成master
该工具会在检测到master挂掉的时候将其下线并选择其中一个slave提升为master继续提供服务
go get github.com/ngaut/codis-ha
cd /usr/local/go/work/src/github.com/ngaut/codis-ha
go build
./codis-ha--codis-config=192.168.92.136:18087 --productName=test &
使用循环调度策略方式多个proxy
<dependency>
<groupId>com.wandoulabs.jodis</groupId>
<artifactId>jodis</artifactId>
<version>0.1.2</version>
</dependency>
JedisResourcePool jedisPool = new RoundRobinJedisPool("192.168.92.137:2181", 30000, "/zk/codis/db_test/proxy", new JedisPoolConfig());
try (Jedis jedis = jedisPool.getResource()) {
jedis.set("key11", "bar");
String value = jedis.get("key11");
System.out.println(value);
}