使用Codis来部署Redis集群
一 应用场景描述
线上业务有使用到Redis作为缓存，但是一直都是单点应用，这样整个业务随时都有可能中断。也是之前部门遗留的历史问题。所以需要抽空时间结合业务对Redis缓存这一块作整改，避免单点故障同时提高缓存的性能。在之前的公司使用过很有名的Redis代理工具twemproxy。由于Redis是单线程服务，所以之前是通过在一台服务器上部署多个Redis实例然后通过twemproxy根据一致性哈希算法将不同的KEY分配到后端不同的Redis实例上。twemproxy可以通过HAProxy+Keepalived的方式来确保负载均衡和高可用。但是twemproxy最大的缺点就是扩展性非常低,几乎不能扩展.假设刚开始在twemproxy里面配置了6个Redis实例,那么一旦上线后,twemproxy根据算法分配KEY到后端不同的Redis实例,但是当新增或减少Redis实例后,分配原则将会被打乱,原来的KEY将会找不到.所以很多人建议在使用twemproxy来部署Redis分片集群的时候需要考虑后期的业务扩展情况,尽量多的分配Redis实例,例如一开始就分配64个Redis实例,即使在同一台服务器上也可以,然后对每个Redis实例部署从库,这样业务量增长,就可以把一些实例扩展出去,只要Redis实例的总数不变和顺序不变,那么twemproxy使用一致性哈希算法分配到后端Redis实例的规则就不变.twemproxy的监控可以使用zabbix来监控。Redis官方的Cluster方案由于长期以来都没有很多线上实际部署的案例，所以直接不用考虑了。考虑到Codis比twemproxy改进了许多，所以考虑直接使用codis来部署。Codis是由豌豆荚公司开发的Redis代理，说是在豌豆荚公司内部得到广泛应用，在国内很多公司也得到推广。
二 安装并测试Codis
本文使用Codis分支的2.0版本，也是很多公司正在用的版本，Codis3.0版本已经有分支了，但是有线上使用的用户不确定。Codis3.0可以不依赖zookeeper，dashboard和proxy直接通过HTTP方式通讯。出于稳定性考虑，我们还是用目前的版本，避免在新版本上踩坑。
Codis新增一个group的概念，每个group包含一个Redis Master和至少一个Redis Slave。Codis可以支持数据热迁移.Codis采用预先分片机制，分成1024个slots，也就是最多可以支持1024个Codis server,这些信息保存在zookeeper中.
1. 安装GO语言和编译安装codis
wget https://storage.googleapis.com/golang/go1.5.2.linux-amd64.tar.gz tar -C /usr/local -xzf go1.5.2.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin export GOPATH=$HOME/work go get -u -d github.com/CodisLabs/codis cd $GOPATH/src/github.com/CodisLabs/codis make make gotest export PATH=$GOPATH/bin:$PATH
这里需要注意的是，最好按照Codis的文档使用go get下载codis，我尝试过自己下载需要的依赖包然后编译codis，但是总是报错说是GOPATH设置不正确。这里对于初次接触GO项目编译的人来说有点诡异。
编译完成后会在bin目录下生成3个二进制文件
codis-config Codis的管理工具，支持添加/删除Redis节点，添加/删除Proxy节点，执行Auto Rebalance等操作
codis-server Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.
codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.
Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突
另外, bin/assets 文件夹是 codis-config 的 dashboard http 服务需要的前端资源, 需要和 codis-config 放置在同一文件夹下
2.安装和配置zookeeper
wget http://www.us.apache.org/dist/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz tar zxvf zookeeper-3.3.6.tar.gz cd zookeeper-3.3.6/conf/ cp zoo_sample.cfg zoo.cfg mkdir -p /tmp/zookeeper sh zkServer.sh start
运行zookeeper需要安装有Java
3.启动dashboard
codis-config和codis-proxy使用config.ini这个配置文件
bin/codis-config dashboard
4.初始化slots
bin/codis-config slot init
该命令会在zookeepr上创建slot相关信息
5.启动Codis Redis
Codis Redis和普通的Redis启动方式一样的
这里创建4个Codis Redis实例，两两一组
Master 172.28.2.157:26379 Slave 172.28.2.157:26380 Master 172.28.2.157:26479 Slave 172.28.2.157:26480
cp extern/redis-2.8.21/redis.conf redis26379.conf cp extern/redis-2.8.21/redis.conf redis26479.conf cp extern/redis-2.8.21/redis.conf redis26380.conf cp extern/redis-2.8.21/redis.conf redis26480.conf
配置文件主要更改以下几点
pidfile /var/run/redis26380.pid port 26380 dbfilename dump26380.rdb
将几个Redis实例的pidfile,port和dbfilename进行区分
同时将26380设置成为26379的从库,26480设置成为26479的从库
slaveof localhost 26379
bin/codis-server redis26379.conf bin/codis-server redis26380.conf bin/codis-server redis26480.conf bin/codis-server redis26479.conf
6.添加Redis Server Group
每个Server Group就是一个Redis服务器组，包括一个Master和多个Slave，group id从1开始算起
bin/codis-config server add 1 localhost:26379 master bin/codis-config server add 1 localhost:26380 slave bin/codis-config server add 2 localhost:26479 master bin/codis-config server add 2 localhost:26480 slave
7.设置server group服务的slot范围
Codis采用Pre-sharding的技术来实现数据的分片，默认分成1024个slots(0-1023)，对于每个key通过公式SlotID=crc32(key)%1024确定属于哪个Slot，每个slot都会有一个且必须有一个特定的server group id来表示这个slot的数据由哪个server group来提供
bin/codis-config slot range-set 0 511 1 online bin/codis-config slot range-set 512 1023 2 online
8.启动coids-proxy
bin/codis-proxy -c config.ini -L ./log/proxy.log --cpu=32 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000
刚启动codis-proxy默认是处于offline的状态，需要设置为online状态
bin/codis-config -c config.ini proxy online proxy_1
通过浏览器访问codis的管理界面
http://172.28.2.157:18087/admin/
9.写入一些数据测试
使用redis-benchmark随意写入一些数据
redis-benchmark -h 172.28.2.157 -p 19000 -n 500000 -P 100 -r 1048576 -d 256 -t get,set,mset -c 800
-n 发起的请求总数
-P Pipeline请求数
-d SET/GET值大小
-c 并列连接的客户端数量
10.数据迁移测试
通过访问http://172.28.2.157:18087/slots
可以看到slots的排列情况，不同的Group是不同的颜色。这样作数据迁移后很容易看到slot迁移后的情况。
如果要迁移slots可以在管理界面选择 Migrate Slot(s) 然后选择需要将哪些slots迁移到哪个Group
bin/codis-config slot migrate 0 511 2 --delay=10
正常的slots的状态是online，正在迁移的slots的状态是migrate
Codis支持动态根据实例内存，自动对slot进行迁移，以均衡数据分布
可以在管理界面点击Auto Rebalance或者手动执行
bin/codis-config slot rebalance
自动均衡slots分布需要满足几个条件，要不然会报错
所有的codis-server都必须设置maxmemory参数
所有的slots都应该处于online状态，即没有迁移任务正在执行
所有的Group都必须有Master
值得注意的是，把Codis编译完成后直接复制bin目录下的codis-proxy,codis-config,codis-server三个二进制文件和assets资源目录到其他机器上也是可以直接运行的。目标主机不一定安装有go语言。
11.codis和redis压力测试
目前线上使用的是Redis3.0的版本。所以这里就简单测试单个redis-server3.0实例和单个codis-server 2.0的性能
测试工具使用redis-benchmark
绘图工具使用gnuplot
三 线上部署Codis
参考文档：
http://www.infoq.com/cn/articles/effective-ops-part-03
http://john88wang.blog.51cto.com/2165294/1620409
http://john88wang.blog.51cto.com/2165294/1623309
https://github.com/CodisLabs/codis
http://www.juvenxu.com/2015/03/20/experiences-on-zookeeper-ops/
https://github.com/CodisLabs/codis/blob/master/doc/FAQ_zh.md