Redis集群Codis安装
本文介绍豌豆荚公司开源的Redis集群方案Codis集群的安装，亲测成功。
工程地址
https://github.com/CodisLabs/codis
规划
操作系统
192.25.103.86 Redhat 6.5
192.25.103.87 CentOS 6.7
ZooKeeper
192.25.103.86:7101:7201 server-1
192.25.103.86:7102:7202 server-2
192.25.103.86:7103:7203 server-3
192.25.103.86:2181 client-1
192.25.103.86:2182 client-2
192.25.103.86:2183 client-3
codis-group1
192.25.103.86:7001 master
192.25.103.87:7004 slave
codis-group2
192.25.103.86:7002 master
192.25.103.87:7005 slave
codis-group3
192.25.103.86:7003 master
192.25.103.87:7006 slave
codis-dashboard
192.25.103.86:18087
codis-proxy
192.25.103.86:19000 proxy server
192.25.103.86:11000 debug server
部署安装详细步骤
一、安装zookeeper
1、安装java环境
ZooKeeper 要求 JAVA 的环境才能运行，并且需要 JAVA6 以上的版本，可以
从 SUN 官网上下载，并对 JAVA 环境变量进行设置。
yum -y install java-1.7.0-openjdk-devel
java -version
2、安装zookeeper
wget --no-check-certificate https://www.apache.org/dist/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
tar zxvf zookeeper-3.4.8.tar.gz
mkdir ./{logs,data}
配置zoo.cfg
cp /usr/local/zookeeper-3.4.8/conf/zoo_sample.cfg /usr/local/zookeeper-3.4.8/conf/zoo1.cfg
vim /usr/local/zookeeper-3.4.8/conf/zoo1.cfg
以下3个实例不同
dataDir=/usr/local/zookeeper-3.4.8/data/1
dataLogDir=/usr/local/zookeeper-3.4.8/logs/1
clientPort=2181
以下3个实例相同
server.1=192.25.103.86:7101:7201
server.2=192.25.103.86:7102:7202
server.3=192.25.103.86:7103:7203
上述配置内容说明，可以参考
http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html#sc_RunningReplicatedZooKeeper
3、设置myid
在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字
echo 1 > /usr/local/zookeeper-3.4.8/data/1/myid
echo 2 > /usr/local/zookeeper-3.4.8/data/2/myid
echo 3 > /usr/local/zookeeper-3.4.8/data/3/myid
4、启动zookeeper
启动顺序zookeeper-1>zookeeper-2>zookeeper-3
bin/zkServer.sh start conf/zoo1.cfg
bin/zkServer.sh start conf/zoo2.cfg
bin/zkServer.sh start conf/zoo3.cfg
查看leader
bin/zkServer.sh status conf/zoo1.cfg
bin/zkServer.sh status conf/zoo2.cfg
bin/zkServer.sh status conf/zoo3.cfg
可以看到有一个是leader，其他两个是follower
设置开机启动
vim /etc/rc.local
/usr/local/zookeeper-3.4.8/bin/zkServer.sh start conf/zoo1.cfg
/usr/local/zookeeper-3.4.8/bin/zkServer.sh start conf/zoo2.cfg
/usr/local/zookeeper-3.4.8/bin/zkServer.sh start conf/zoo3.cfg
设置环境变量
vim /etc/profile
export GOROOT=/usr/local/go
export GOPATH=/usr/local/gopkg
export CODISPATH=/usr/local/codis
export ZOOKEEPERPATH=/usr/local/zookeeper-3.4.8
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin:$ZOOKEEPERPATH/bin:$CODISPATH/bin
source /etc/profile
二、安装codis集群
1、安装go
设置环境变量如上一节
下载安装go
cd /usr/local/
wget http://golangtc.com/static/go/1.7/go1.7.linux-amd64.tar.gz
tar -zxvf go1.7.linux-amd64.tar.gz
tar -zxvf go1.3.3.linux-amd64.tar.gz
go version
2、安装依赖环境
yum groupinstall "Development Tools"
3、安装codis
yum install -y git
安装Codis
go get -u -d github.com/CodisLabs/codis #下载文件到GOPATH
安装
mkdir -p $GOPATH/src/github.com/tools
cd $GOPATH/src/github.com/tools
go get -u github.com/tools/godep
cd godep
go install ./
验证godep
which godep
godep version
cd $GOPATH/src/github.com/CodisLabs/codis
编译
make
测试是否正确
make gotest
4、配置Codis集群
# 将编译好后，把bin目录和一些脚本复制过去/usr/local/codis目录下：
mkdir -p /usr/local/codis/{logs,conf,scripts}
cd /usr/local/gopkg/src/github.com/CodisLabs/codis/
cp -rf bin /usr/local/codis/
配置集群config.ini
cp config.ini /usr/local/codis/
vim /usr/local/codis/config.ini
zk=192.25.103.86:2181,192.25.103.86:2182,192.25.103.86:2183
dashboard_addr=192.25.103.86:18087
proxy_id=proxy_9
该配置文件中，我们需要注意三个参数：zk、dashboard_addr、proxy_id。
其中zk是表示zookeeper集群的服务器IP地址，dashboard_addr表示codis web管理的IP地址及端口，proxy_id表示codis的id，注意每台codis服务器该值要
唯一。
另外两台主要修改proxy_id。
配置实例config.ini
cp extern/redis-test/conf/6379.conf /usr/local/codis/conf/7301.conf
vim /usr/local/codis/redis_conf/7301.conf
pidfile /var/run/redis7301.pid
port 7301
logfile /usr/local/codis/7301.log
dbfilename dump7301.rdb
dir /usr/local/codis
每台codis服务器上redis配置完毕后，我们来启动redis实例，如下：
/usr/local/codis/bin/codis-server /usr/local/codis/conf/7301.conf
ps -ef | grep codis
5、启动codis dashboard
redis实例全部启动后，我们现在来启动codis的dashboard。
要在192.25.103.86这台codis服务器上启动该命令，这是因为之前codis配置文件中配置的dashboard地址就是192.25.103.86。
使用如下命令启动dashboard：
nohup /usr/local/codis/bin/codis-config -c /usr/local/codis/config.ini dashboard &
查看日志确认是否成功启动
tail -100f nohup.out
访问以下地址：
http://192.25.103.86:18087/admin/
错误1： create zk node failed
有时kill方式停止codis时，再次启动会出现下面的错误提示，因为zookeeper中的相关配置没有删除，连接上zookeeper删除相关文件夹。
/usr/local/zookeeper-3.4.8/bin/zkCli.sh -server 127.0.0.1:2181
rmr /zk/codis/db_test/dashboard
如果要kill的dashboard的话，强烈建议通过kill -15 pid来关闭。
如果是直接使用kill -9进行kill的话，可能会报zk节点不存在错误的话。
错误2： zkutil: obtaining lock timed out
cd /usr/local/codis
/usr/local/codis/bin/codis-config action remove-lock
三、安装codis集群
1、管理group和instance
增加group和instance
- New Server Group
- Add New Redis Instance
注意：Addr需要输入ip:port，组内第一个实例为master，再增加的均为slave。
可以通过命令进行添加，如下：
/usr/local/codis/bin/codis-config server add 1 192.25.103.86:7301 master
/usr/local/codis/bin/codis-config server add 1 192.25.103.87:7304 slave
可以通过命令查看，各个redis server组的信息，如下：
/usr/local/codis/bin/codis-config server list
删除一个已分配slot的group，或者redis-master时，报错：
[error]: http status code 500, cannot remove master, use promote first
解决方案：已分配slot的group是删除不了的，只能转移slot数据。删除redis-master也必然不行，一个group必须有个master。可以先指定一个slave升级为master，然后可以删除该master。
2、管理slot
codis采用pre-sharding的技术来实现数据的分片，默认分成1024个slot(0-1023)。对于每个key来说，可以通过以下公式确定所属的slot id:slotid=crc32(key)%1024。
每一个slot都会有一个且必须有一个特定的server group id来表示这个slot的数据由哪个server group来提供。
在分配slot之前，我们需要初始化slot。
在codis服务器任意一台上执行命令，在zookeeper上创建slot相关信息。如下：
/usr/local/codis/bin/codis-config -c config.ini slot init
slot初始化完毕后，我们现在来分配slot范围。如下：
Range Set
0~341 1
342~682 2
683~1023 3
也可以通过命令进行分配，如下：
/usr/local/codis/bin/codis-config slot range-set 0 341 1 online
查看slot信息，如下：
/usr/local/codis/bin/codis-config slot info 1
3、启动codis-proxy
创建启动脚本
vim start_proxy.sh
输入一下内容
#!/bin/sh
echo "shut down proxy_1..."
./bin/codis-config -c config.ini proxy offline proxy_1
echo "done"
echo "start new proxy..."
nohup ./bin/codis-proxy --log-level info -c config.ini -L ./log/proxy.log --cpu=2 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &
echo "done"
echo "sleep 3s"
sleep 3
tail -n 30 ./logs/proxy.log
下面对以上命令中的参数进行解释：
-c 配置文件地址。
-L 日志输出文件地址。
–log-level= 输出日志级别(debug
–cpu= proxy占用的cpu核数,默认1,最好设置为机器的物理cpu数的一半到2/3左右。
–addr= proxy的redis server监听的地址, 格式:, 如: localhost:9000, :9001。
–http-addr= proxy的调试信息启动的http server，可以访问 http://debug_http_server_addr/debug/vars。
启动proxy
./start_proxy.sh
四、连接codis集群
redis-cli -h 192.25.103.86 -p 19000
info
对codis集群做一些压力测试，同时在dashboard上观察键值对的情况。如下：
redis-benchmark -h 192.25.103.86 -p 19000 -c 10000 -d 100 -t set -n 100000 -r 100000
使用redis-benchmark压力测试命令连接codis集群，同时并发10000个（-c），测试set操作(-t)，每个测试数据集是100字节(-d),请求数是100000（-n），使用使用随机数插入数值（-r）。