Redis 高可用集群搭建

一、Redis 集群方案比较

1. 哨兵模式

在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特别是在主从切换的瞬间存在访问瞬断的情况，而且哨兵模式只有一个主节点对外提供服务，没法支持很高的并发，且单个主节点内存也不宜设置得过大，否则会导致持久化文件过大，影响数据恢复或主从同步的效率。

2. 高可用集群模式

redis集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需要 sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可 水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单 。

二、搭建步骤

由于时间和机器的缘故，本文演示的是三主三从的集群架构，且只有三台主机，每台主机上模拟出一主一从。本人使用的Windows操作系统，使用VMWare来虚拟出三台主机，Centos 7 操作系统，在安装好第一台主机后，第二台和第三台可以直接克隆第一台。三台机器 ip 分别为：192.168.2.101、192.168.2.102、192.168.2.103。

1.redis 安装

# 安装gcc 
yum install gcc

# 本人安装在 /usr/local/ 目录下，redis 最新版是6.0.5
cd /usr/local/
wget http://download.redis.io/releases/redis‐5.0.8.tar.gz 
tar xzf redis‐5.0.8.tar.gz 
cd redis‐5.0.8
make

# 启动并指定配置文件 
 src/redis‐server redis.conf（使用后台启动，修改redis.conf里的daemonize改为yes)

# 验证启动是否成功
ps -ef | grep redis

# 进入redis客户端 
src/redis-cli -p 6379  (默认6379端口)

# 退出客户端
quit

2.集群搭建

 第一步：在第一台机器的/usr/local下创建文件夹redis‐cluster，然后在其下面分别创建2个文件夾如下 
（1）mkdir ‐p /usr/local/redis‐cluster 
（2）cd /usr/local/redis‐cluster
（3）mkdir 8001 8004

第二步：把redis‐5.0.8/redis.conf 配置文件copy到8001下，修改如下内容： 
（1）daemonize yes 
（2）port 8001（分别对每个机器的端口号进行设置） 
（3）pidfile /var/run/redis_8001.pid
（4）logfile "8001.log"
（5）dir /usr/local/redis‐cluster/8001/（指定数据文件存放位置，必须要指定不同的目录位置，不然会丢失数据） 
（6）cluster‐enabled yes（启动集群模式） 
（7）cluster‐config‐file nodes‐8001.conf（集群节点信息文件，这里800x好和port对应上） 
（8）cluster‐node‐timeout 5000 
（9）# bind 127.0.0.1（去掉bind绑定访问ip信息） 
（10） protected‐mode no （关闭保护模式） 
（11） appendonly yes 

 如果要设置密码需要增加如下配置： 
（12） requirepass 123456 (设置redis访问密码) 
（13） masterauth 123456 (设置集群节点间访问密码，跟上面一致)

第三步：把修改后的配置文件，copy到8004，修改第2、3、5项里的端口号，可以用批量替换：
:%s/源字符串/目的字符串/g

第四步：另外两台机器也需要做上面几步操作，第二台机器用8002和8005，第三台机器用8003和8006

第五步：分别启动6个redis实例，然后检查是否启动成功 
（1）/usr/local/redis-5.0.8/src/redis-server /usr/local/redis-cluster/800*/redis.conf 
（2）ps ‐ef | grep redis 查看是否启动成功

第六步：用redis‐cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis‐trib.rb实现) 
# 下面命令里的1代表为每个创建的主服务器节点创建一个从服务器节点 
# 执行这条命令需要确认三台机器之间的redis实例要能相互访问，可以先简单把所有机器防火墙关掉，如果不关闭防火墙 则需要打开redis服务端口和集群节点gossip通信端口 
# 关闭防火墙 
# systemctl stop firewalld      # 临时关闭防火墙 
# systemctl disable firewalld   # 禁止开机启动 
（1）/usr/local/redis-5.0.8/src/redis-cli -a 123456 --cluster create --cluster-replicas 1 192.168.2.101:8001 192.168.2.102:8002 192.168.2.103:8003 192.168.2.101:8004 192.168.2.102:8005 192.168.2.103:8006

第七步：验证集群： 
（1）连接任意一个客户端即可：./redis-cli -c -h -p (‐a访问服务端密码，‐c表示集群模式，指定ip地址和端口号） 
 如：/usr/local/redis-5.0.8/src/redis-cli -a 123456 -h 192.168.2.101 -p 8001 -c （-c 代表以集群模式连接，可省略）
（2）进行验证： cluster info（查看集群信息）、cluster nodes（查看节点列表） 
（3）进行数据操作验证 
（4）关闭集群则需要逐个进行关闭，使用命令： 
 /usr/local/redis-5.0.8/src/redis-cli -a 123456 -c -h 192.168.2.102 -p 8002 shutdown
 

创建集群成功后可看到看到如下信息：

连接客户端： /usr/local/redis-5.0.8/src/redis-cli -a 123456 -h 192.168.2.101 -p 8001
执行 cluster info 可看到如下信息：

执行 cluster nodes 可看到如下信息：

最前面一串类似uuid的为节点id，slave节点中间也有这么一串，代表的是他的master节点id。

三、Spring Boot 项目整合 Redis

1. 创建 Spring Boot 项目，引入核心依赖：

   <dependency>
   	<groupId>org.springframework.boot</groupId>
   	<artifactId>spring-boot-starter-data-redis</artifactId>
   </dependency>
   
   <dependency>
   	<groupId>org.apache.commons</groupId>
   	<artifactId>commons-pool2</artifactId>
   </dependency>
   

2. 修改 application.properties 配置：

   spring.redis.timeout=3000
   spring.redis.password=123456
   spring.redis.lettuce.pool.max-active=1000
   spring.redis.lettuce.pool.min-idle=10
   spring.redis.lettuce.pool.max-idle=50
   spring.redis.lettuce.pool.max-wait=1000
   # springboot2.3 以后加上下面配置可自动刷新拓扑，某节点挂掉后，会有新的主从关系，如果不配置，调用接口时程序会报错
   spring.redis.lettuce.cluster.refresh.adaptive=true
   spring.redis.lettuce.cluster.refresh.period=5000
   # spring.redis.sentinel.master=mymaster
   # spring.redis.sentinel.nodes=192.168.2.101:26379,192.168.2.101:26380,192.168.2.101:26381
   spring.redis.cluster.nodes=192.168.2.101:8001,192.168.2.102:8002,192.168.2.103:8003,192.168.2.101:8004,192.168.2.102:8005,192.168.2.103:8006
   
   

3. 创建 Controller ，如下：

   /**
    * @author: francis
    * @description:
    * @date: 2020/6/21 21:24
    */
   @RestController
   public class IndexController {
       private final StringRedisTemplate stringRedisTemplate;
   
       public IndexController(StringRedisTemplate stringRedisTemplate) {
           this.stringRedisTemplate = stringRedisTemplate;
       }
   
       @RequestMapping("/test")
       public String test(@RequestParam("key") String key, @RequestParam("value") String value) {
           stringRedisTemplate.opsForValue().set(key, value);
           return stringRedisTemplate.opsForValue().get(key);
       }
   }
   

4. 运行程序，访问接口
   
5. 连接 redis 客户端： /usr/local/redis-5.0.8/src/redis-cli -a 123456 -h 192.168.2.103 -p 8006 ，查看刚刚设置的key-value
   

Redis Cluster 将所有数据划分为 16384 个 slots(槽位)，每个节点负责其中一部分槽位。槽位的信息存储于每个节点中。

当 Redis Cluster 的客户端来连接集群时，它也会得到一份集群的槽位配置信息并将其缓存在客户端本地。这样当客户端要查找某个 key 时，可以直接定位到目标节点。同时因为槽位的信息可能会存在客户端与服务器不一致的情况，还需要纠正机制来实现槽位信息的校验调整。

槽位定位算法
Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。
HASH_SLOT = CRC16(key) mod 16384

四、Redis 集群相关命令

1. 帮助命令

   /usr/local/redis-5.0.8/src/redis-cli -a 123456 --cluster help
   

   

2. 命令含义

   1.create：创建集群 host1:port1 ... hostN:portN 
   2.call：可以执行redis命令 
   3.add-node：将一个节点添加到集群里，第一个参数为新节点的ip:port，第二个参数为集群中任意一个已经存在的节点的ip:port  
   4.del-node：移除节点 
   5.reshard：重新分片 
   6.check：检查集群状态
   

五、Redis 集群水平扩展

1. 查看redis集群信息，结果如下：
   
   目前是三主三从，现在再增加一主一从，在101机器上新增8007和8008节点。

2. mkdir /usr/local/redis-cluster/8007 mkdir /usr/local/redis-cluster/8008

3. 分别拷贝 8001 节点目录下的 redis.conf 至 8007 和 8008 节点目录下

4. 修改redis.conf，和前面搭建步骤一样，批量替换端口号：:%s/源字符串/目的字符串/g 来替换端口号

5. 启动新增节点： /usr/local/redis-5.0.8/src/redis-server /usr/local/redis-cluster/800*/redis.conf

6. 查看是否启动成功： ps -ef | grep redis

7. 添加8007节点，默认为主节点：

   # 前面的ip:port为新增节点，后面的ip:port为已知存在节点
   /usr/local/redis-5.0.8/src/redis-cli -a 123456 --cluster add-node 192.168.2.101:8007 192.168.2.101:8001
   
   

   

8. 再次查看集群信息，发现新增master节点8007，但是没有分配任何的slot(hash槽)，
   

9. 为8007节点分配hash槽

   /usr/local/redis-5.0.8/src/redis-cli -a 123456 --cluster reshard 192.168.2.101:8007
   # 执行完这条命令会提示需要输入几个参数，具体如下图
   

   

10. 再次查看节点信息，8007节点分配槽位成功
    

11. 将 8008 添加进集群

    /usr/local/redis-5.0.8/src/redis-cli -a 123456 --cluster add-node 192.168.2.101:8008 192.168.2.101:8001
    
    

12. 查看集群信息
    

13. 将 8008 节点配置为 8007 节点的从节点

    1.  /usr/local/redis-5.0.8/src/redis-cli -a 123456 -h 192.168.2.101 -p 8008
    
    2.  cluster replicate 44a88ac96d18be2db5b962fcca1602af0043ddcf
    

    

六、Redis 集群节点移除

基于第五章节，移除8007和8008节点。

1. 移除8008节点（移除此节点会将该节点shutdown）

   /usr/local/redis-5.0.8/src/redis-cli -a 123456 --cluster del-node 192.168.2.101:8008 6d29ebf9db5e9e5bb0faaacb4bc27bc0732340a7
   
   

2. 查看集群信息
   

3. 移除8007节点，8007节点是master节点，需要将数据迁移，所以需要重新分配槽位，否则数据将丢失。示例是将8007节点迁移至8001节点

   /usr/local/redis-5.0.8/src/redis-cli -a 123456 --cluster reshard 192.168.2.101:8007
   
   

   

4. 为确保迁移成功，再次查看集群信息
   

5. 移除8007节点

   /usr/local/redis-5.0.8/src/redis-cli -a 123456 --cluster del-node 192.168.2.101:8007 44a88ac96d18be2db5b962fcca1602af0043ddcf