Redis——redis集群方案之codis集群的搭建部署

一.什么是codis集群

codis集群简介

• Codis是一个分布式的Redis解决方案，对于上层的应用来说，连接Codis Proxy和连接原生的Redis Server没有明显的区别（不支持的命令列表），上层应用可以像使用单机的Redis一样使用，Codis底层会处理请求的转发，不停机的数据迁移等工作，所有后边的一切事情，对于前面客户端来说是透明的，可以简单的认为后边连接是一个内存无限大的Redis服务。

• Codis是一套用go语言编写的,为了应对高并发环境下的redis集群软件,原理是对一个redis key操作前,先把这个key通过crc32算法,分配到不同redis的某一个slot上,实现并发读写功能.而且能通过zookeeper调用redis-sentinel来实现故障切换功能.现在最新版本是3.2.1,依托于redis3.2.9开发出来。

codis的优缺点

• 优点：实现高并发读写，数据一致性高。

• 缺点：性能有较大损耗，故障切换无法保证不丢key。无法进行读写分离。

codis的架构介绍

go

描述：codis依赖语言包

codis

描述：codis集群套件，里面含有redis相关程序和集群专用程序。主要功能程序解析：

• codis-server：属于redis-server优化版，基于 redis-3.2.9 分支开发。增加了额外的数据结构，以支持slot 有关的操作以及数据迁移指令。

• codis-proxy：客户端连接的 Redis 代理服务，实现了 Redis 协议。 除部分命令不支持以外(例如：keys*，flush )，表现的和原生的 Redis 没有区别（就像 Twemproxy）。

  1. 对于同一个业务集群而言，可以同时部署多个 codis-proxy 实例；
  2.不同 codis-proxy 之间由 codis-dashboard 保证状态同步。
  

• codis-dashboard：集群管理工具，支持 codis-proxy、codis-server
  的添加、删除，以及据迁移等操作。在集群状态发生改变时，codis-dashboard 维护集群下所有codis-proxy的状态的一致性。

  对于同一个业务集群而言，同一个时刻 codis-dashboard 只能有 0个或者1个；
  
  所有对集群的修改都必须通过 codis-dashboard 完成。
  

• Codis-fe：集群web管理界面。

  多个集群实例共享可以共享同一个前端展示页面；
  通过配置文件管理后端 codis-dashboard 列表，配置文件可自动更新。
  

• redis-sentinel：可以实现对Redis的监控、通知、自动故障转移。如果Master不能工作，则会自动启动故障转移进程，将其中的一个Slave提升为Master，其他的Slave重新设置新的Master服务。Sentinel的配置由codis-dashboard和zookeeper一起控制，不需要手工填写。

jdk

描述：zookeeper依赖语言包

zookeeper

描述：用于存放数据配置路由表。zookeeper简称zk。在生产环境中，zk部署越多，其可靠性越高。由于zk集群是以宕机个数过半才会让整个集群宕机，因此，奇数个zk更佳。

逻辑架构如下：

• 访问层：

访问方式可以是类似keepalived集群的vip方式，或者是通过java代码调用jodis控件再连接上zookeeper集群，然后查找到可用的proxy端，进而连接调用不同的codis-proxy地址来实现高可用的LVS和HA功能。

• 代理层：

中间层由codis-proxy和zookeeper处理数据走向和分配，通过crc32算法，把key平均分配在不同redis的某一个slot中。实现类似raid0的条带化，在旧版本的codis中，slot需要手工分配，在codis3.2之后，只要点一个按钮slot会自动分配，相当方便，但是也可以手动分配，需要另外调用codis-admin命令。

• 数据层：

最后codis-proxy把数据存进真实的redis-server主服务器上，由于codis的作者黄东旭相当注重数据一致性，不允许有数据延时造成的数据不一致，所以架构从一开始就没考虑主从读写分离。从服务器仅仅是作为故障切换的冗余架构，由codis-dashboard监控各服务的状态，然后通过改写zookeeper数据和调用redis-sentinel实现故障切换功能。

二.codis集群的搭建部署

主机	服务
server1	codis-server
server2	codis-server
server3	zk，codis-dashboard，codis-proxy，codis-fe，codis-server

实验过程如下所示：

如果之前做过redis的服务，将redis服务停掉，因为会占用6379端口

第一步：配置server3

安装go（这里选用的版本为go1.9.1）——因为codis3.2要求至少是1.7或1.8以上版本。

[root@server3 ~]# tar zxf go1.9.1.linux-amd64.tar.gz -C /usr/local/    #-C：指定解压目录
[root@server3 ~]# cd /usr/local       #查看

配置环境变量

[root@server3 ~]# vim /etc/profile     #编辑环境变量的配置文件
 78 export GOROOT=/usr/local/go
 79 export GOPATH=/usr/local/codis
 80 export PATH=$PATH:/usr/local/go/bin
[root@server3 ~]# source /etc/profile    #重新加载环境变量,使得刚刚配置的环境变量生效

对codi进行源码编译（编译codis时依赖go，所以在安装codis先装好go）

[root@server3 ~]# mkdir -p $GOPATH/src/github.com/CodisLabs       #设置编译环境
[root@server3 ~]# yum install unzip -y    #安装unzip软件，以支持unzip命令
[root@server3 ~]# unzip codis-release3.2.zip -d  $GOPATH/src/github.com/CodisLabs
[root@server3 ~]# cd $GOPATH/src/github.com/CodisLabs
[root@server3 CodisLabs]# mv codis-release3.2/ codis     #为了方便，将名字该为codis
[root@server3 CodisLabs]# cd codis/
[root@server3 codis]# yum install gcc git autoconf -y 

[root@server3 codis]# pwd
/usr/local/codis/src/github.com/CodisLabs/codis
[root@server3 codis]# make MALLOC=libc      #进行编译安装

看到如下内容表示编译成功

补充：

codis源码编译完成之后：

• 组件的启动脚本在$GOPATH/src/github.com/CodisLabs/codis/admin目录下

• 配置文件在$GOPATH/src/github.com/CodisLabs/codis/config目录下

安装JDK （版本要求不严格）

[root@server3 ~]# yum install jdk-8u201-linux-x64.rpm -y
[root@server3 ~]# java -version    查看版本

安装zookeeper

[root@server3 ~]# tar zxf zookeeper-3.4.13.tar.gz -C /usr/local/    #-C:指定解压目录
[root@server3 ~]# cd /usr/local/
[root@server3 local]# mv zookeeper-3.4.13/ zookeeper

编辑环境变量

[root@server3 ~]# vim /etc/profile
 78 export GOROOT=/usr/local/go
 79 export GOPATH=/usr/local/codis
 80 export ZOOKEEPER_HOME=/usr/local/zookeeper
 81 export PATH=$PATH:/usr/local/go/bin:$ZOOKEEPER_HOME/bin
[root@server3 ~]# source /etc/profile    #重新加载环境变量

修改zookeeper的配置文件

[root@server3 ~]# cd /usr/local/zookeeper/conf/
[root@server3 ~]# cp   zoo_sample.cfg   zoo.cfg
[root@server3 conf]# vim zoo.cfg 
tickTime=2000      #一个周期(tick)的时长(单位：毫秒)
initLimit=10     #初始化同步阶段最多耗费tick个数
syncLimit=5        #等待应答的最大间隔tick个数 
dataDir=/data/zookeeper/data   #该目录需要手动建立。
clientPort=2181        #客户端连接server的端口，即对外服务端口，一般设置为 2181 
maxClientCnxns=60      #最大连接数设置(单ip限制). 注：默认60,设成0即无限制
autopurge.purgeInterval=24     #ZK提供了自动清理事务日志和快照文件的功能，这个参数指定了清理频率，单位是小时
autopurge.snapRetainCount=500      这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个

注意：因为我这里只部署单个codis-proxy节点的环境

如果是多个，需要在zookeeper的配置文件里面写入：

server.1=codis-1:2888:3888
server.2=codis-2:2888:3888
server.3=codis-3:2888:3888

说明：

server.A=B：C：D

• A 是一个数字，表示这个是第几号服务器；
• B 是这个服务器的 ip 地址；
• C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；
• D 表示的是万一集群中的 Leader 服务器挂 了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的 端口。

其中2888表示zookeeper程序监听端口，3888表示zookeeper选举通信端口。

设置myid

设置myid在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字（该数字的取值范围是1-255），用来标识当前主机，conf/zoo.cfg文件配置的server.X中的X是什么数字，则myid文件就输入这个数字，我只有一台zk，所以配置文件里可以不配置server.X，但还是要配置myid 的，echo一个数字1进去即可。如果有多台zk，则分别在zk服务器上echo对应的数字进对应的myid文件。

[root@server3 conf]# mkdir /data/zookeeper/data -p
[root@server3 conf]# echo "1" > /data/zookeeper/data/myid

启动zookeeper

[root@server3 ~]# zkServer.sh start         #启动zookeeper
[root@server3 ~]# zkServer.sh status        #查看zookeeper的状态

对codis进行配置，并启动codis的各个组件

注意：启动dashboard前，必须启动zookeeper服务，这是必须的。

编辑/usr/local/codis/config.ini文件并启动codis-dashboard组件

[root@server3 ~]#   vim /usr/local/codis/config.ini
zk=localhost:2181      //zookeeper的地址
#如果是zookeeper集群，可以这么写：zk=hostname1:2181,hostname2:2181,hostname3:2181,hostname4:2181,hostname5:2181,
#如果是etcd，则写成：http://hostname1:port,http://hostname2:port,http://hostname3:port
product=meng              //产品名称, 这个codis集群的名字, 可以认为是命名空间, 不同命名空间的codis没有交集
proxy_id=proxy_1          //proxy会读取, 用于标记proxy的名字, 针对多个proxy的情况, 可以使用不同的config.ini, 只需要更改 proxy_id 即可
net_timeout=5              //检测状态时间间隔
dashboard_addr=localhost:18087       //dashboard 服务的地址，CLI 的所有命令都依赖于 dashboard 的 RESTful API，所以必须启动
coordinator=zookeeper       //如果用etcd，则将zookeeper替换为etcd

[root@server3 ~]# cd $GOPATH/src/github.com/CodisLabs/codis/admin
[root@server3 admin]# ./codis-dashboard-admin.sh start        #启动codis-dashboard组件

启动codis-proxy组件和启动codis-fe组件

[root@server3 ~]# cd $GOPATH/src/github.com/CodisLabs/codis/admin
[root@server3 admin]# ./codis-proxy-admin.sh start
[root@server3 admin]# ./codis-fe-admin.sh start

启动codis-server组件并查看端口

[root@server3 admin]# ./codis-server-admin.sh start
 [root@server3 admin]  netstat -antlp

第二步：配置server1和server2（步骤完全相同）

• server1（基本步骤与server3相同）

注意：先编辑环境变量（这一步我当时在创建目录后面做，解压生成的目录路径不对，所以删除重新创建了，所以环境变量要在创建目录之前做）

编译完成界面：

对codis进行配置：

[root@server1 ~]# cd /usr/local/codis/src/github.com/CodisLabs/codis/config/
[root@server1 config]# vim redis.conf
bind 0.0.0.0

启动codis-server组件

[root@server1 ~]# cd /usr/local/codis/src/github.com/CodisLabs/codis/admin
[root@server1 admin]# ./codis-server-admin.sh start

• server2，配置过程同server1

第三步：测试

在浏览器访问172.25.27.3：9090，进入web管理界面

点击codis-demo并向下拉动界面

可以看到codis-proxy已经激活

可以新建组，也可以添加redis-server实例。

• 新建组

如下所示：

• 添加redis-server实例

点击Add Server，使实例127.0.0.1:6379添加成功

如下所示：

同理，可以添加172.25.27.1:6379和172.25.27.2:6379