部署redis集群管理工具-codis

一、codis 简介

摘自官方:Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (有一些命令不支持), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务

  • Codis 由四部分组成:
 Codis Proxy (codis-proxy)
Codis Dashboard (codis-config)
Codis Redis (codis-server)
ZooKeeper/Etcd
  • codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.
  • codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态.
  • codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.
  • Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy.
  • Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突.

二、codis安装

1. 环境

go 1.5.4
zookeeper 3.4.7
jdk 1.7

2. 安装 go,所有节点均安装

wget http://www.golangtc.com/static/go/1.5.4/go1.5.4.linux-amd64.tar.gz
tar xvf go1.5.4.linux-amd64.tar.gz -C /data/c-app/
vim /etc/profile
#codis
export GOROOT=/data/c-app/go
export GOPATH=/data/c-app/mygo
source /etc/profile

3. 安装zk

  • 安装 jdk
vim /etc/profile
JAVA_HOME=/usr/local/jdk1.7.0_51
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME PATH CLASSPATH
PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
source /etc/profile
  • 安装 zookeeper
tar xvf zookeeper-3.4.7.tar.gz -C /data/c-app/
cd /data/c-app/zookeeper-3.4.7/
vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.7
export PATH=$GOROOT/bin:$ZOOKEEPER_HOME/bin:$PATH
source /etc/profile
  • 配置 zookeeper 集群
mkdir /data/c-app/{zk_data,zk_logs}/{zk-2181,zk-2182,zk-2183} -p
cd /data/c-app/zookeeper-3.4.7/conf
  • cat 1.zoo.cfg
tickTime=2000
dataDir=/data/c-app/zk_data/zk-2181
dataLogDir=/data/c-app/zk_logs/zk-2181
clientPort=2181
initLimit=10
syncLimit=5
server.1=127.0.0.1:20881:30881
server.2=127.0.0.1:20882:30882
server.3=127.0.0.1:20883:30883
  • cat 2.zoo.cfg
tickTime=2000
dataDir=/data/c-app/zk_data/zk-2182
dataLogDir=/data/c-app/zk_logs/zk-2182
clientPort=2182
initLimit=10
syncLimit=5
server.1=127.0.0.1:20881:30881
server.2=127.0.0.1:20882:30882
server.3=127.0.0.1:20883:30883
  • cat 3.zoo.cfg
tickTime=2000
dataDir=/data/c-app/zk_data/zk-2183
dataLogDir=/data/c-app/zk_logs/zk-2183
clientPort=2183
initLimit=10
syncLimit=5
server.1=127.0.0.1:20881:30881
server.2=127.0.0.1:20882:30882
server.3=127.0.0.1:20883:30883

4. 安装 codis,除ZooKeeper节点外其余节点均正常安装

go get -u -d github.com/CodisLabs/codis
cd $GOPATH/src/github.com/wandoulabs/codis
make && make gotest
ln -s $GOPATH/src/github.com/wandoulabs/codis /data/c-app/
cd /data/c-app/codis
mkdir {conf,redis_conf,scripts}

5. 配置 redis,仅需要在redis节点,目前都在codis节点

cd redis_conf

  • cat 6611.conf
daemonize yes
pidfile /var/run/redis_6611.pid
port 6611
logfile "/data/codis_server/logs/codis_6611.log"
save 900 1
save 300 10
save 60 10000
dbfilename 6611.rdb
dir /data/codis_server/data/6611
  • cat 6612.conf
daemonize yes
pidfile /var/run/redis_6612.pid
port 6612
logfile "/data/codis_server/logs/codis_6612.log"
save 900 1
save 300 10
save 60 10000
dbfilename 6612.rdb
dir /data/codis_server/data/6612
  • 这即是一组 redis主从,可以多配置几组redis主从,多口为6621、6622、6631、6632

6. 加入内核參数

echo "vm.overcommit_memory = 1" >>  /etc/sysctl.conf
sysctl -p

7. 分别启动

  • zookeeper
cd /data/c-app/zookeeper-3.4.7/
./bin/zkServer.sh start ./conf/1.zoo.cfg
./bin/zkServer.sh start ./conf/2.zoo.cfg
./bin/zkServer.sh start ./conf/3.zoo.cfg
  • codis-server(redis)
cd /data/c-app/codis/redis_conf/
nohup ./bin/codis-server ./redis_conf/6611.conf &
nohup ./bin/codis-server ./redis_conf/6612.conf &

# 在启动2组,进程如下

[root@ops-jenkins-01 codis]# ps -ef|grep codis
root      6552     1  0 13:35 ?        00:00:00 ./bin/codis-server *:6622                
root      6558     1  0 13:35 ?        00:00:00 ./bin/codis-server *:6621                
root      6564     1  0 13:35 ?        00:00:00 ./bin/codis-server *:6631                
root      6570     1  0 13:35 ?        00:00:00 ./bin/codis-server *:6632                
root      6576 32270  0 13:35 pts/1    00:00:00 grep codis
root     24293     1  0 11:07 ?        00:00:07 ./bin/codis-server *:6611                
root     24299     1  0 11:07 ?        00:00:07 ./bin/codis-server *:6612
  • codis dashboard
    # 配置 dashboard
vim codis-config.ini
zk=127.0.0.1:2181
product=test
dashboard_addr=localhost:18087
proxy_id=proxy_1
proto=tcp4

# 启动 dashboard 服务

 nohup /data/c-app/codis/bin/codis-config dashboard --http-log=/data/c-app/codis/dashboard.log &
[root@ops-jenkins-01 codis]# ps -ef|grep codis
root     24293     1  0 11:07 ?        00:00:00 ./bin/codis-server *:6611                
root     24299     1  0 11:07 ?        00:00:00 ./bin/codis-server *:6612                
root     29326     1  0 11:23 pts/1    00:00:00 /data/c-app/codis/bin/codis-config dashboard --http-log=/data/c-app/codis/dashboard.log

Tips:如果报错:[error]: dashboard already exists: {"addr": "0.0.0.0:18087", "pid": 26035};
这种问题是由于使用了kill -9导致了dashboard服务异常终止,而退出服务的时候没有在zk上清除自已的信息,所以就出现了这种问题。
临时性的解决办法就是:

/data/c-app/zookeeper-3.4.7/bin/zkCli.sh
rmr /zk/codis/db_test/dashboard

# 初始化 slots

./bin/codis-config -c codis-config.ini slot init

# 强制格式化slot

./bin/codis-config -c config.ini slot init -f

8. 访问

codis dashboard的默认端口是18087,我是配置了域名后直接访问

部署redis集群管理工具-codis_第1张图片
codis dashboard
  • 至此,codis安装成功,下面讲如何配置使用

三、codis 使用

1. 添加codis_server

  • 页面添加


    部署redis集群管理工具-codis_第2张图片
    add codis server 1
  • 命令行添加
./bin/codis-config server add 2 127.0.0.1:6621 master
./bin/codis-config server add 2 127.0.0.1:6622 slave

刷新页面即可看到:

部署redis集群管理工具-codis_第3张图片
codis server 2

Tips: 点击“Promote to Master”就会将slave的redis提升为master,而原来的master会自己主动下线。

2. 开启分片

  • 页面添加


    部署redis集群管理工具-codis_第4张图片
    part

    部署redis集群管理工具-codis_第5张图片
    slot status
  • 命令行添加

./bin/codis-config -c config.ini slot range-set 512 1023 2 online

# 查看slot


部署redis集群管理工具-codis_第6张图片
slot status
  • 扩容,在线添加新分片
# 在添加一组 codis_server
./bin/codis-config server add 2 127.0.0.1:6631 master
./bin/codis-config server add 2 127.0.0.1:6632 slave
# 添加新分片
./bin/codis-config -c config.ini slot migrate 256 511 3
部署redis集群管理工具-codis_第7张图片
solt 3
  • 导入key到 redis,查看主从情况
cat data.txt|./redis-6131/src/redis-cli --pipe -p 6611
部署redis集群管理工具-codis_第8张图片
group1

3. 配置 codis-proxy

  • 一台机器部署 codis-proxy,试了几次不行,于是决定分布在另外几台机器

。。。未完成,请待之后更新

参考1:官方文档
参考2:郑彦生博客


你可能感兴趣的:(部署redis集群管理工具-codis)