Codis

        Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。

Codis 由四部分组成:

Codis Proxy (codis-proxy)

    codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.

Codis Manager (codis-config)

    codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态.

Codis Redis (codis-server)

    codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.

ZooKeeper

    Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy.

Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突.

    以上都不是LZ总结的，照搬官方的介绍，详细的看这里：tutorial_zh  && FAQ 这就是国产开源的好处，中文资料多多...

下面就开整吧(实验环境一台ubuntu14.04)：

1    安装golang

        LZ由于懒，直接apt-get了(1.2版本)，后面第一步编译的时候就发现是个坑啊，各种golang错误，所以还是老老实实的下载最新版吧，官网有直接编译好的：go1.4.2.linux-amd64.tar.gz        

cd /usr/local
tar zxvf go1.4.2.linux-amd64.tar.gz
mv go1.4.2 go

        修改.bashrc

export PATH=$PATH:/usr/local/go/bin
export GOPATH=/root/codis-2.0.6

        验证

2    安装codis

      下载最新版

go get -u -d github.com/wandoulabs/codis

       开始编译

cd /root/codis-2.0.6/src/github.com/wandoulabs/codis
./bootstrap.sh

     结果如下：

    测试看看

make gotest

        你会在当前目录下发现有个新增的bin目录，里面有codis-config, codis-proxy，codis-server 三个可执行文件, (另外, bin/assets 文件夹是 codis-config 的 dashboard http 服务需要的前端资源, 需要和 codis-config 放置在同一文件夹下)，在bin目录下生成config.ini配置文件(codis-config 和 codis-proxy 在不加 -c 参数的时候, 默认会读取当前目录下的 config.ini 文件)，内容如下：

coordinator=zookeeper
zk=172.16.1.100:2181
product=codis
dashboard_addr=172.16.1.100:18087
password=
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=1024
zk_session_timeout=30
proxy_id=proxy_1

3    安装zookeeper，这次可以apt-get，LZ还是很懒的

apt-get install zookeeper zookeeper-bin zookeeperd

      修改配置文件/etc/zookeeper/conf/zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/lib/zookeeper
dataLogDir=/tmp/zookeeper
clientPort=2181
server.1=172.16.1.100:2888:3888

    创建日志目录

mkdir /tmp/zookeeper

    编辑myid文件，echo ‘1’ > myid

    启动zookeeper

service zookeeper start

4    使用codis-server启动两个redis实例

./codis-server /opt/twemproxy/conf/redis-9000.conf 
./codis-server /opt/twemproxy/conf/redis-9001.conf 

5    启动codis的dashboard

./codis-config -c config.ini --log-level=debug dashboard

6    初始化slot

./codis-config -c config.ini slot init

7    添加redis server group

      每一个 Server Group 作为一个 Redis 服务器组存在, 只允许有一个 master, 可以有多个 slave, group id 仅支持大于等于1的整数

./codis-config -c config.ini server add 1 127.0.0.1:9000 master
./codis-config -c config.ini server add 1 127.0.0.1:9001 slave
./codis-config -c config.ini server list

8    设置 server group 服务的 slot 范围

        Codis 采用 Pre-sharding 的技术来实现数据的分片, 默认分成 1024 个 slots (0-1023), 对于每个key来说, 通过以下公式确定所属的 Slot Id : SlotId = crc32(key) % 1024 每一个 slot 都会有一个且必须有一个特定的 server group id 来表示这个 slot 的数据由哪个 server group 来提供。和redis cluster很像....

./codis-config -c config.ini slot range-set 0 1023 1 online

9    启动codis-proxy

./codis-proxy -c config.ini --log-level=debug -L /tmp/codis.log --addr=172.16.1.100:19000 --http-addr=172.16.1.100:11000

    刚启动的 codis-proxy 默认是处于 offline状态的, 然后设置 proxy 为 online 状态, 只有处于 online 状态的 proxy 才会对外提供服务

./codis-config -c config.ini proxy online proxy_1

10    查看dashboard，在浏览器输入http://172.16.1.100:18087/

    1    

    2

11    通过proxy进行测试

/opt/redis-cluster/bin/redis-cli -h 172.16.1.100 -p 19000

12    codis还支持数据在group之间迁移以及auto rebalance，综合来看确实比现阶段的redis cluster(redis3.0)更胜一筹。不过codis在安装过程中略有坑....