Redis 迁移 Codis 集群方案

Redis集群主要有五种方案：

官方cluster方案、twemproxy代理方案、哨兵模式、Codis、客户端分片。

其中以豌豆荚的Codis使用最多，本文主要介绍Codis。

 

一、Codis 安装

1. 安装最新版 3.2

1) java 环境

yum -y  install java-1.8.0

2）go环境

tar zxvf /root/go1.8.3.linux-amd64.tar.gz -C /usr/local/

/usr/local/go/bin/go version

mkdir -p /data/go

echo 'export PATH=$PATH:/usr/local/go/bin:/usr/local/codis/bin'  >>/etc/profile

echo 'export GOPATH=/data/go'  >>/etc/profile

source /etc/profile

go env GOPATH

3） 安装codis

4）安装zookeeper

zookeeper 至少部署 3台

 

二、集群配置

1. 角色划分

192.168.180.120 codis120 codis-server  zookeeper

192.168.180.121 codis121 codis-server  zookeeper

192.168.180.122 codis122 codis-server  zookeeper

192.168.180.123 codis123 codis-server  codis-proxy  nginx-tcp  lvs

192.168.180.124 codis124 codis-server  codis-proxy  nginx-tcp  lvs

192.168.180.125 codis125  codis-server  codis-dashboard codis-fe

 

2. 启动codis-dashobard（codis125上操作）

修改dashboard.toml配置文件：

coordinator_name = "zookeeper"

coordinator_addr = "192.168.180.120:2181,192.168.180.121:2181,192.168.180.122:2181"

product_name = "codis-product1"

product_auth = ""

admin_addr = "0.0.0.0:18080"

启动命令：

./admin/codis-dashboard-admin.sh start

 

3. 启动codis-proxy（codis123与codis124上操作）

修改codis-proxy启动脚本：

cat admin/codis-proxy-admin.sh | grep DASH

CODIS_DASHBOARD_ADDR="192.168.180.125:18080"

修改proxy.toml配置：

cat config/proxy.toml|grep -Ev "^#|^$"

product_name = "codis-product1"

product_auth = ""

session_auth = ""

admin_addr = "0.0.0.0:11080"

proto_type = "tcp4"

proxy_addr = "0.0.0.0:19000"

启动codis-proxy脚本：

./admin/codis-proxy-admin.sh start

检查日志和端口：

cat log/codis-proxy.log

netstat -tulpn | grep codis-proxy

 

4. 启动codis-server（需要在所有上操作）

1）修改启动脚本

vim /usr/local/codis/admin/codis-server-admin-6379.sh start

vim /usr/local/codis/admin/codis-server-admin-6380.sh start

主要注意以下几点

[root@codis125 codis]# cat /usr/local/codis/admin/codis-server-admin-6379.sh |grep -Ev "^#|^$"|grep 6379

CODIS_SERVER_PID_FILE=/data/codis/6379/redis_6379.pid

CODIS_SERVER_LOG_FILE=/data/codis/6379/redis_6379.log

CODIS_SERVER_CONF_FILE=$CODIS_CONF_DIR/redis-6379.conf

2）修改服务配置

[root@codis120 codis]# mkdir -p /data/redis/6379

[root@codis120 codis]# mkdir -p /data/redis/6380

[root@codis120 codis]# vim /usr/local/codis/config/redis-6379.conf

[root@codis120 codis]# vim /usr/local/codis/config/redis-6380.conf

主要是注意以下几点

[root@codis120 codis]# cat /usr/local/codis/config/redis-6379.conf |grep -Ev "^#|^$"|grep 6379

port 6379

pidfile /data/redis/6379/redis_6379.pid

logfile "/data/redis/6379/redis_6379.log"

dir /data/redis/6379

3）启动codis-server服务

[root@codis120 codis]# ./admin/codis-server-admin-6379.sh start

/usr/local/codis/admin/../config/redis-6379.conf

starting codis-server ...

[root@codis120 codis]# ./admin/codis-server-admin-6380.sh start

/usr/local/codis/admin/../config/redis-6380.conf

starting codis-server ...

 

5. 启动codis-fe（codis125上操作）

1）修改codis-fe启动脚本

[root@codis125 codis]# cat admin/codis-fe-admin.sh

主要修改这几行

#!/usr/bin/env bash

#COORDINATOR_NAME="filesystem"

#COORDINATOR_ADDR="/tmp/codis"

COORDINATOR_NAME="zookeeper"

COORDINATOR_ADDR="192.168.180.120:2181,192.168.180.121:2181,192.168.180.122:2181"

2）启动codis-fe脚本

[root@codis125 codis]#  ./admin/codis-fe-admin.sh start

3）访问面板

http://192.168.188.125:9090/#codis-product1

 

6. codis-fe面板操作

1）通过codis-fe添加group

通过web浏览器访问集群管理页面(fe地址:http://192.168.188.125:9090/#codis-product1) 选择我们刚搭建的集群 codis-product1，在 Proxy 栏可看到我们已经启动的 Proxy， 但是

Group 栏为空，因为我们启动的 codis-server 并未加入到集群 添加 NEW GROUP，NEW GROUP 行输入 1，再点击 NEW GROUP 即可 添加 Codis Server，Add Server 行输入我们刚刚启动的

codis-server 地址，添加到我们刚新建的 Group，然后再点击 Add Server 按钮即可。

如上依次添加6个group，12个codis-server，默认每组里面第一个添加的为主，第二个添加的设置为从，同一个节点2个实例不能设置为同一group。

2）通过codis-fe初始化solt

新增的集群 slot 状态是 offline，因此我们需要对它进行初始化（将 1024 个 slot 分配到各个 group），而初始化最快的方法可通过 fe 提供的 rebalance all slots 按钮来做，如下图

所示，点击此按钮，我们即快速完成了一个集群的搭建。

自动分配1024个solt到6个group，reblance all solts会自动分配完所以solt到6个group。

 

7. 代理HA

1）在codis123与codis124上安装lvs与nginx-tcp

2）配置好VIP+19000端口为第一个codis-dashboard业务线使用，其他类推

 

三、数据迁移

做好平滑的数据同步迁移，不影响业务正常使用。

redis-port 工具做数据迁移

参考：https://www.cnblogs.com/yotone/p/6556480.html

使用redis-port：

 [www@m180p10 redis-port]$  nohup ./bin/redis-port sync --ncpu=1 --from=192.168.180.10:6001 --password=whyredis --target=192.168.180.12:19002 --auth=codiswyt >> /opt/codis/redis-port/log/redis-to-codis.log  2>&1 &

 

1. 如何做到不停机，数据迁移？

数据迁移过程中，如果不停机，新集群 和 旧集群 数据只能是趋近于相等，但不可能绝对相等。

我们需要考虑的是，切流量那一会新打入旧集群的缓存信息，在新集群不存在，是否会影响业务？是否可以接受？

2. 如果有影响，那么就需要考虑影响范围最小化，如何最小化？

因为缓存一旦没有信息，势必会穿透到DB, 这样DB压力会上升。

我们可以通过流量控制，开始只切5% 的流量（甚至更小 1%） 到 Codis, 观察情况，没问题逐步切流量到新集群。

3. 梳理旧集群 redis key, 分析哪些key 是必不可少的。检查迁移是否有遗漏。

4. 故障回滚方式：灰度 和线上 两份，连接新旧集群，进行切换。

 

四、Codis 客户端高可用

使用jodis做codis的连接，在项目中封装多代理ip 轮询负载均衡，实现高可用。

pom.xml配置：

       io.codis.jodis

      jodis

      0.5.1

properties 文件：

codis.zkAddr=127.0.0.1:2181,127.0.0.1:2181,127.0.0.1:2181

codis.zk.proxy.dir=/jodis/codis

codis.password=

 

1. 代码实现

@Bean

public JedisResourcePool getPool() {

JedisPoolConfig poolConfig = new JedisPoolConfig();

poolConfig.setMaxIdle(max_idle);

poolConfig.setMaxTotal(max_active);

poolConfig.setTestOnBorrow(true); //在borrow一个jedis实例的时候，是否要进行验证操作，如果赋值true。则得到的jedis实例肯定是可以用的。

poolConfig.setTestOnReturn(true); //在return一个jedis实例的时候，是否要进行验证操作，如果赋值true。则放回jedispool的jedis实例肯定是可以用的。

poolConfig.setMaxWaitMillis(max_wait);

poolConfig.setBlockWhenExhausted(false); //连接耗尽的时候，是否阻塞，false 会抛出异常，true 阻塞直到超时。默认为true。

JedisResourcePool pool = RoundRobinJedisPool.create().poolConfig(poolConfig)

.curatorClient(zkAddr, timeout)

.password(password).zkProxyDir(zkProxyDir).build();

return pool;

}

注意：如果没有设置密码，以上代码去掉password。

封装以上jedisPool为启动时加载，注入bean，其他服务使用时，注入即可。

线上环境使用时，将127.0.0.1 换成自己的真实ip即可，这里只是范例。

 

2. Spring 配置方式接入

 

五、踩坑

报错： JedisException- Proxy list empty

解决：

1. 检查proxy是否已经成功的添加到集群中，在zk中就可以查看。/jodis/productName路径下，看是否有对应的proxy。

如：

 

 

2. 修改codis3的proxy.toml文件

# Set jodis address & session timeout.

jodis_addr = "127.0.0.1:2181,127.0.0.1:2181,127.0.0.1:2181" 

jodis_addr必须设置

 

报错： Could not get a resource from the pool

查询异常详情，发现 cause by ERR Client sent AUTH, but no password is set

这里意思是服务端没有设置password,客户端链接是确使用了password ,就会报这个错误。去掉password 即可。