Redis之高可用、集群、云平台搭建（非原创）

文章大纲

一、基础知识学习
二、Redis常见的几种架构及优缺点总结
三、Redis之Redis Sentinel（哨兵）实战
四、Redis之Redis Cluster（分布式集群）实战
五、Java之Jedis连接Redis（Redis Cluster版本）
六、Redis之云平台介绍
七、项目源码与资料下载
八、参考文章

一、基础知识学习

Redis的基础包括以下内容，可参考文章https://www.cnblogs.com/WUXIAOCHANG/p/10832330.html进行学习
（1）安装并设置开机自动启动
（2）Redis文件结构
（3）Redis启动方式
（4）Redis持久化
（5）Redis配置文件详解
（7）Redis图形化工具
（8）Java之Jedis连接Redis单机

二、Redis常见的几种架构及优缺点总结

1. Redis单副本

Redis单副本，采用单个Redis节点部署架构，没有备用节点实时同步数据，不提供数据持久化和备份策略，适用于数据可靠性要求不高的纯缓存业务场景。

优点
架构简单，部署方便；
高性价比：缓存使用时无需备用节点（单实例可用性可以用supervisor或crontab保证），当然为了满足业务的高可用性，也可以牺牲一个备用节点，但同时刻只有一个实例对外提供服务；
高性能。

缺点
不保证数据的可靠性；
在缓存使用，进程重启后，数据丢失，即使有备用的节点解决高可用性，但是仍然不能解决缓存预热问题，因此不适用于数据可靠性要求高的业务；
高性能受限于单核CPU的处理能力（Redis是单线程机制），CPU为主要瓶颈，所以适合操作命令简单，排序、计算较少的场景。也可以考虑用Memcached替代。

2. Redis多副本（主从）

Redis多副本，采用主从（replication）部署结构，相较于单副本而言最大的特点就是主从实例间数据实时同步，并且提供数据持久化和备份策略。主从实例部署在不同的物理服务器上，根据公司的基础环境配置，可以实现同时对外提供服务和读写分离策略。

优点
高可靠性：一方面，采用双机主备架构，能够在主库出现故障时自动进行主备切换，从库提升为主库提供服务，保证服务平稳运行；另一方面，开启数据持久化功能和配置合理的备份策略，能有效的解决数据误操作和数据异常丢失的问题；
读写分离策略：从节点可以扩展主库节点的读能力，有效应对大并发量的读操作。

缺点
故障恢复复杂，如果没有RedisHA系统（需要开发），当主库节点出现故障时，需要手动将一个从节点晋升为主节点，同时需要通知业务方变更配置，并且需要让其它从库节点去复制新主库节点，整个过程需要人为干预，比较繁琐；
主库的写能力受到单机的限制，可以考虑分片；
主库的存储能力受到单机的限制，可以考虑Pika；
原生复制的弊端在早期的版本中也会比较突出，如：Redis复制中断后，Slave会发起psync，此时如果同步不成功，则会进行全量同步，主库执行全量备份的同时可能会造成毫秒或秒级的卡顿；又由于COW机制，导致极端情况下的主库内存溢出，程序异常退出或宕机；主库节点生成备份文件导致服务器磁盘IO和CPU（压缩）资源消耗；发送数GB大小的备份文件导致服务器出口带宽暴增，阻塞请求，建议升级到最新版本。

3. Redis Sentinel（哨兵）

Redis Sentinel是社区版本推出的原生高可用解决方案，其部署架构主要包括两部分：Redis Sentinel集群和Redis数据集群。
其中Redis Sentinel集群是由若干Sentinel节点组成的分布式集群，可以实现故障发现、故障自动转移、配置中心和客户端通知。Redis Sentinel的节点数量要满足2n+1（n>=1）的奇数个。

优点
Redis Sentinel集群部署简单；
能够解决Redis主从模式下的高可用切换问题；
很方便实现Redis数据节点的线形扩展，轻松突破Redis自身单线程瓶颈，可极大满足Redis大容量或高性能的业务需求；
可以实现一套Sentinel监控一组Redis数据节点或多组数据节点。

缺点
部署相对Redis主从模式要复杂一些，原理理解更繁琐；
资源浪费，Redis数据节点中slave节点作为备份节点不提供服务；
Redis Sentinel主要是针对Redis数据节点中的主节点的高可用切换，对Redis的数据节点做失败判定分为主观下线和客观下线两种，对于Redis的从节点有对节点做主观下线操作，并不执行故障转移。
不能解决读写分离问题，实现起来相对复杂。

建议
如果监控同一业务，可以选择一套Sentinel集群监控多组Redis数据节点的方案，反之选择一套Sentinel监控一组Redis数据节点的方案。
sentinel monitor 配置中的建议设置成Sentinel节点的一半加1，当Sentinel部署在多个IDC的时候，单个IDC部署的Sentinel数量不建议超过（Sentinel数量 – quorum）。
合理设置参数，防止误切，控制切换灵敏度控制：
a. quorum
b. down-after-milliseconds 30000
c. failover-timeout 180000
d. maxclient
e. timeout

部署的各个节点服务器时间尽量要同步，否则日志的时序性会混乱。
Redis建议使用pipeline和multi-keys操作，减少RTT次数，提高请求效率。
自行搞定配置中心（zookeeper），方便客户端对实例的链接访问。

4. Redis Cluster

Redis Cluster是社区版推出的Redis分布式集群解决方案，主要解决Redis分布式方面的需求，比如，当遇到单机内存，并发和流量等瓶颈的时候，Redis Cluster能起到很好的负载均衡的目的。
Redis Cluster集群节点最小配置6个节点以上（3主3从），其中主节点提供读写操作，从节点作为备用节点，不提供请求，只作为故障转移使用。
Redis Cluster采用虚拟槽分区，所有的键根据哈希函数映射到0～16383个整数槽内，每个节点负责维护一部分槽以及槽所印映射的键值数据。

优点
无中心架构；
数据按照slot存储分布在多个节点，节点间数据共享，可动态调整数据分布；
可扩展性：可线性扩展到1000多个节点，节点可动态添加或删除；
高可用性：部分节点不可用时，集群仍可用。通过增加Slave做standby数据副本，能够实现故障自动failover，节点之间通过gossip协议交换状态信息，用投票机制完成Slave到Master的角色提升；
降低运维成本，提高系统的扩展性和可用性。

缺点
Client实现复杂，驱动要求实现Smart Client，缓存slots mapping信息并及时更新，提高了开发难度，客户端的不成熟影响业务的稳定性。目前仅JedisCluster相对成熟，异常处理部分还不完善，比如常见的“max redirect exception”。
节点会因为某些原因发生阻塞（阻塞时间大于clutser-node-timeout），被判断下线，这种failover是没有必要的。
数据通过异步复制，不保证数据的强一致性。
多个业务使用同一套集群时，无法根据统计区分冷热数据，资源隔离性较差，容易出现相互影响的情况。
Slave在集群中充当“冷备”，不能缓解读压力，当然可以通过SDK的合理设计来提高Slave资源的利用率。
Key批量操作限制，如使用mset、mget目前只支持具有相同slot值的Key执行批量操作。对于映射为不同slot值的Key由于Keys不支持跨slot查询，所以执行mset、mget、sunion等操作支持不友好。
Key事务操作支持有限，只支持多key在同一节点上的事务操作，当多个Key分布于不同的节点上时无法使用事务功能。
Key作为数据分区的最小粒度，不能将一个很大的键值对象如hash、list等映射到不同的节点。
不支持多数据库空间，单机下的redis可以支持到16个数据库，集群模式下只能使用1个数据库空间，即db 0。
复制结构只支持一层，从节点只能复制主节点，不支持嵌套树状复制结构。
避免产生hot-key，导致主库节点成为系统的短板。
避免产生big-key，导致网卡撑爆、慢查询等。
重试时间应该大于cluster-node-time时间。
Redis Cluster不建议使用pipeline和multi-keys操作，减少max redirect产生的场景。

5. Redis自研

Redis自研的高可用解决方案，主要体现在配置中心、故障探测和failover的处理机制上，通常需要根据企业业务的实际线上环境来定制化。

优点
高可靠性、高可用性；
自主可控性高；
贴切业务实际需求，可缩性好，兼容性好。

缺点
实现复杂，开发成本高；
需要建立配套的周边设施，如监控，域名服务，存储元数据信息的数据库等；
维护成本高。

三、Redis之Redis Sentinel（哨兵）实战

1. 实战的项目架构

采用一主（MASTER）二从（SLAVE）三哨兵(SENTINEL)的架构

2. 将下载的Redis复制3分，分别命名如下：

3. 修改三个Reids的配置文件

3.1 配置主从

（1）master_6379文件夹中redis.windows.conf文件配置

    port 6379

（2）slave_6380文件夹中redis.windows.conf文件配置

                 port 6380
                 slaveof 127.0.0.1 6379

（3）slave_6381文件夹中redis.windows.conf文件配置

                 port 6381
                 slaveof 127.0.0.1 6379

3.2 哨兵配置
每一个redis目录中都创建一个文sentinel.conf文件
master_6379的sentinel.conf文件配置如下

#当前Sentinel服务运行的端口
port 26379
#master
#Sentinel去监视一个名为mymaster的主redis实例，这个主实例的IP地址为本机地址127.0.0.1，端口号为6379，
#而将这个主实例判断为失效至少需要2个 Sentinel进程的同意，只要同意Sentinel的数量不达标，自动failover就不会执行
sentinel monitor mymaster 127.0.0.1 6379 1
#指定了Sentinel认为Redis实例已经失效所需的毫秒数。当 实例超过该时间没有返回PING，或者直接返回错误，那么Sentinel将这个实例标记为主观下线。
#只有一个 Sentinel进程将实例标记为主观下线并不一定会引起实例的自动故障迁移：只有在足够数量的Sentinel都将一个实例标记为主观下线之后，实例才会被标记为客观下线，这时自动故障迁移才会执行
sentinel down-after-milliseconds mymaster 5000
#指定了在执行故障转移时，最多可以有多少个从Redis实例在同步新的主实例，在从Redis实例较多的情况下这个数字越小，同步的时间越长，完成故障转移所需的时间就越长
sentinel config-epoch mymaster 12
#如果在该时间（ms）内未能完成failover操作，则认为该failover失败
sentinel leader-epoch mymaster 13

slave_6380中的sentinel.conf文件配置

#当前Sentine2服务运行的端口
port 26479
#slave1
sentinel monitor mymaster 127.0.0.1 6379 1
sentinel down-after-milliseconds mymaster 5000
sentinel config-epoch mymaster 12
sentinel leader-epoch mymaster 13

slave_6381中的sentinel.conf文件配置

#当前Sentine3服务运行的端口
port 26579
#slave2
sentinel monitor mymaster 127.0.0.1 6379 1
sentinel down-after-milliseconds mymaster 5000
sentinel config-epoch mymaster 12
sentinel leader-epoch mymaster 13

4. 启动服务

编写启动redis脚本
编写一个 bat 来启动 redis，在每个节点目录下建立 startup.bat，内容如下：

title master_6379
redis-server.exe redis.windows.conf

温馨提示：
（1）title后名称需与Reids文件夹名称一致
（2）可以直接运行startup.bat来启动redis，也可以在redis安装目录下用命令redis-server.exe redis.windows.conf直接启动

编写sentinel启动脚本
编写一个 bat 来启动 sentinel，在每个节点目录下建立 startup_sentinel.bat，内容如下：

 title master_6379
 redis-server.exe sentinel.conf --sentinel

温馨提示：
（1） title命名规则 redis文件夹名, 注意“--sentinel”不是注释，必须存在
（2）另外启动sentinel还可以在redis安装目录下用命令redis-sentinel sentinel.conf 来启动

5. Redis服务启动成功

master 6379

slave 6380

slave 6381

6. sentinel服务启动成功

sentinel 26379

sentinel 26479

sentinel 26579

7. 服务查看

7.1 查看redis服务状态,命令: info replication
master 6379

slave 6380

slave 6381

7.2 查看sentinel的状态，命令： info sentinel

8. redis主从自动failover测试

停止master服务器，查看剩余服务器的状态
slave 6380

slave 6381

从上图中可以看出来，master的服务器端口从6379变成了6380，也就是说redis自动的实现了主从切换，
我们可以在查看下sentinel的状态，如下：

我们发现sentinel监控到127.0.0.1:6379已经无法ping通了，切换master服务器为127.0.0.1:6380

温馨提示：在实际操作中，不一定master为6380，可能是6381，具体看当时执行策略。

四、Redis之Redis Cluster（分布式集群）实战

1. 实战的项目架构

（1）3个主节点，建议配置3个从节点，其余3个作为各个主节点的从节点（也是官网推荐的模式），所以需要6台虚拟机。主节点崩溃，从节点的Redis就会提升为主节点，代替原来的主节点工作，崩溃的主Redis恢复工作后，会再成为从节点
（2）集群
（3）主从复制
（4）哨兵模式
（5）分片

2. 所需软件

（1）Redis
（2）Ruby语言运行环境
（3）Redis的Ruby驱动redis-xxxx.gem
（4）创建Redis集群的工具redis-trib.rb

3. 下载Redis并创建相应集群目录

把 redis 解压后，再复制出 5 份，配置三主三从集群。由于 redis 默认端口号为 6379，那么其它5份的端口可以为6380，6381，6382，6383，6384。并且把目录使用端口号命名

4. 修改配置文件

打开每个Redis目录下的文件 redis.windows.conf，修改里面的端口号分别对应相对应的文件夹名：6379、6380、6381、6382、6383、6384，再修改集群支持配置，将以下配置前面的#去掉。

cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
appendonly yes

cluster-config-file nodes-6379.conf 是为该节点的配置信息，这里使用 nodes-端口.conf命名方法。服务启动后会在目录生成该文件(为cluster-config-file nodes-文件夹名字.conf)

编写启动脚本，或者进入每个端口命名的文件夹下启动服务，具体可以参考第三的内容
编写一个 bat 来启动 redis，在每个节点目录下建立 startup.bat，内容如下：

title redis-6379
redis-server.exe redis.windows.conf

温馨提示：title后面为文件夹名称

5. 安装Ruby

redis的集群使用 ruby脚本编写，所以系统需要有 Ruby 环境 ,下载地址
https://rubyinstaller.org/downloads/

安装时3个选项都勾选。

6. 安装Redis的Ruby驱动redis-xxxx.gem

下载地址：https://rubygems.org/pages/download

下载后解压，当前目录切换到解压目录中，如 D:\Program Files\Redis_cluster\rubygems-2.7.7 然后命令行执行 ruby setup.rb
再用 GEM 安装 Redis ：切换到redis安装目录，需要在命令行中，执行 gem install redis

7. 安装集群脚本redis-trib

下载地址 https://raw.githubusercontent.com/antirez/redis/unstable/src/redis-trib.rb
打开该链接把里面的脚本保存为redis-trib.rb，建议保存到一个Redis的目录下（不用每个都放），例如放到6379目录下。

温馨提示：现在打开这个链接中的代码已不支持redis 5.0以下的版本了，因为redis5.0以上不再需要redis-trib.rb了，而是使用自带的redis-cli作为创建集群的命令了，老版本的redis-trib.rb可在文章的项目源码与参考资料中进行下载

8. 启动每个节点并且执行集群构建脚本

把每个节点下的 start.bat双击启动，在切换到存放了redis-trib.rb的redis目录在命令行中执行以下内容：

redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384

温馨提示：
（1）--replicas 1 表示每个主数据库拥有从数据库个数为1。master节点不能少于3个，所以我们用了6个redis
（2）三个主从之间的对应关系由策略进行决定，不一定是6379是主，6380是它的从，但是分配完之后，会有三主三从
（3）如果出现 redis-trib.rb is not longer available! 如果redis版本是5.0以上，则使用如下命令:

redis-cli --cluster create 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 --cluster-replicas 1

（4）集群命令创建一次后，以后都不需要再次执行，就算服务器重启都不需要，集群伸缩应该需要

在出现 Can I set the above configuration? (type 'yes' to accept): 请确定并输入 yes 。成功后的结果如下：

9. 连接集群进行测试

使用Redis客户端Redis-cli.exe来查看数据记录数，以及集群相关信息
命令:redis-cli –c –h ”地址” –p "端口号" ; c 表示集群

查看集群的信息，命令：cluster info

查看主从关系，命令： info replication

主库显示信息：

从库显示信息：

查看各个节点分配slot，命令 cluster nodes

可以看到有3个master,3个slave
以及可以看到master各自的slot分布情况

10. Redis集群数据分配策略

采用一种叫做哈希槽 (hash slot)的方式来分配数据，redis cluster 默认分配了 16384 个slot，当我们set一个key 时，会用CRC16算法来取模得到所属的slot，然后将这个key分到哈希槽区间的节点上，具体算法就是：CRC16(key) % 16384
注意的是：必须要3个以上的主节点，否则在创建集群时会失败，三个节点分别承担的slot 区间是：
节点A覆盖0－5460;
节点B覆盖5461－10922;
节点C覆盖10923－16383.

五、Java之Jedis连接Redis（Redis Cluster版本）

1. 使用idea新建maven项目

创建后的项目结构如下：

2. pom.xml文件添加jar包依赖



    4.0.0

    com.wxc
    com-redis2
    1.0-SNAPSHOT

    

        
        
            junit
            junit
            4.12
        

        
        
            redis.clients
            jedis
            2.7.2
        

        
            org.apache.commons
            commons-lang3
            3.3.2

3. 新建JedisclusterTest.java进行集群连接测试

package com.wxc.redis;

import org.junit.Test;
import redis.clients.jedis.HostAndPort;
import redis.clients.jedis.JedisCluster;
import redis.clients.jedis.JedisPoolConfig;

import java.io.IOException;
import java.util.HashSet;
import java.util.Set;

public class JedisclusterTest {

    //连接redis集群
    @Test
    public void testJedisCluster() throws Exception {
        //创建一个JedisCluster对象
        Set nodes = new HashSet();
        nodes.add(new HostAndPort("127.0.0.1", 6379));
        nodes.add(new HostAndPort("127.0.0.1", 6380));
        nodes.add(new HostAndPort("127.0.0.1", 6381));
        nodes.add(new HostAndPort("127.0.0.1", 6382));
        nodes.add(new HostAndPort("127.0.0.1", 6383));
        nodes.add(new HostAndPort("127.0.0.1", 6384));
        System.out.println("开始连接redis集群");

        //在nodes中指定每个节点的地址
        //jedisCluster在系统中是单例的。
        JedisCluster jedisCluster = new JedisCluster(nodes);

        System.out.println("初始化数据");

        jedisCluster.set("name2", "zhangsan");
        jedisCluster.set("value2", "100");
        String name = jedisCluster.get("name");
        String value = jedisCluster.get("value");
        System.out.println(name);
        System.out.println(value);
        //系统关闭时关闭jedisCluster
        jedisCluster.close();
    }
}

4. 运行项目

5. 测试集群故障转移与主从备份

5.1 查看主从关系

从图中我们可以看出，6379，6381，6383是主节点，其他是从节点

5.2 测试故障自动转移
现在我们将6381的服务断开，之后再查看一次服务

我们可以看到这两个服务已经挂了，之后我们再次运行java项目，这次我们把key改为name3、value3

再次运行java项目

可以看到集群数据操作成功

5.3 查看集群自动主从备份
现在我们用Redis客户端工具打开连接，进行数据查看，我们可以看到name3和value3都插入成功了

刚刚我们的6381服务是关闭的，我们现在重新打开，再看看6381数据是否会自动同步

打开之后，我们发现其数据已经自动同步

七、项目源码与资料下载

链接：https://pan.baidu.com/s/1wcWcXO-qEFfVb9ujcjRvMA
提取码：pe01

八、参考文章

http://database.ctocio.com.cn/239/14564239.shtml
https://blog.csdn.net/weixin_41846320/article/details/83654766
https://blog.csdn.net/weixin_41846320/article/details/83753182

Redis之高可用、集群、云平台搭建（非原创）

文章大纲

一、基础知识学习

二、Redis常见的几种架构及优缺点总结

1. Redis单副本

2. Redis多副本（主从）

3. Redis Sentinel（哨兵）

4. Redis Cluster

5. Redis自研

三、Redis之Redis Sentinel（哨兵）实战

1. 实战的项目架构

2. 将下载的Redis复制3分，分别命名如下：

3. 修改三个Reids的配置文件

4. 启动服务

5. Redis服务启动成功

6. sentinel服务启动成功

7. 服务查看

四、Redis之Redis Cluster（分布式集群）实战

1. 实战的项目架构

2. 所需软件

3. 下载Redis并创建相应集群目录

4. 修改配置文件

5. 安装Ruby

6. 安装Redis的Ruby驱动redis-xxxx.gem

7. 安装集群脚本redis-trib

8. 启动每个节点并且执行集群构建脚本

9. 连接集群进行测试

10. Redis集群数据分配策略

五、Java之Jedis连接Redis（Redis Cluster版本）

1. 使用idea新建maven项目

2. pom.xml文件添加jar包依赖

3. 新建JedisclusterTest.java进行集群连接测试

4. 运行项目

5. 测试集群故障转移与主从备份

七、项目源码与资料下载

八、参考文章

你可能感兴趣的:(Redis之高可用、集群、云平台搭建（非原创）)