Redis的三种集群方式详解

一.Redis为甚么要做集群

• 采用Redis集群方案解决单点故障问题
• 对于高并发读写请求,采用集群方案提升Redis作业能力
• 处理大量数据,多个Redis节点实现数据的分布式存储

二.Redis主从复制

1. 什么是主从复制

   Redis有三种集群方案，主从复制，哨兵，cluster集群,主从复制是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave)，数据的复制是单向的，只能由主节点到从节点。默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。

2. 全量同步

   Redis全量复制一般发生在Slave初始化阶段，这时Slave需要将Master上的所有数据都复制一份。具体步骤如下：

   1. 从服务器连接主服务器，发送SYNC命令；
   2. 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令；
   3. 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令；
   4. 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照；
   5. 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；
   6. 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令。

3. 增量同步

   Redis增量复制是指Slave初始化后开始正常工作时主服务器发生的写操作同步到从服务器的过程。 增量复制的过程主要是主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令。

4. 主从复制的作用

   • 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式；
   • 故障恢复：当主节点出现问题时可以由从节点提供服务实现快速的故障恢复；实际上是一种服务的冗余；
   • 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
   • 读写分离：可以用于实现读写分离，主库写、从库读，读写分离不仅可以提高服务器的负载能力，同时可根据需求的变化，改变从库的数量。
   • 高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

5. 主从的缺点

   不具备自动容错和恢复功能 :主从宕机会影响前端的部分请求失败，需要重启机器或者手动切换前端IP才能恢复

   主机宕机数据丢失：宕机前部分有部分数据未同步到从机，切换IP后会引入数据不一致降低系统可用性

   数据大的问题：数据量特别大一个主是存储不了

三.Redis哨兵模式

1. 什么是哨兵模式(Redis-Sentinel)

   当主服务器中断服务后，可以将一个从服务器升级为主服务器，以便继续提供服务，但是这个过程需要人工手动来操作。 为此，Redis 2.8中提供了哨兵工具来实现自动化的系统监控和故障恢复功能。

2. Redis-Sentinel

   Redis-Sentinel是用于管理Redis集群,该系统执行以下三个任务:

   监控(Monitoring):
   Sentinel会不断地检查你的主服务器和从服务器是否运作正常;

   提醒(Notification):
   当被监控的某个Redis服务器出现问题时,Sentinel可以通过API向管理员或者其他应用程序发送通知;

   自动故障迁移(Automatic failover):

   当主服务器不可用，Sentinel会自动选举一个从服务器作为新的主服务器，并让其它的从服务器从新的主服务器复制数据，用户的请求会被变更为新的主服务器。

3. 主观下线&客观下线&故障转移

   • 主观下线

     每个Sentinel（哨兵）进程以每秒钟一次的频率向整个集群中的Master主服务器，Slave从服务器以及其他Sentinel（哨兵）进程发送一个 PING 命令。如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被 Sentinel（哨兵）进程标记为主观下线（SDOWN）；如果一个Master主服务器被标记为主观下线（SDOWN），则正在监视这个Master主服务器的所有 Sentinel（哨兵）进程要以每秒一次的频率确认Master主服务器的确进入了主观下线状态。

   • 客观下线

     当有足够数量（半数以上）的 Sentinel（哨兵）进程（大于等于配置文件指定的值）在指定的时间范围内确认Master主服务器进入了主观下线状态（SDOWN）， 则Master主服务器会被标记为客观下线（ODOWN）；若没有足够数量的 Sentinel（哨兵）进程同意 Master主服务器下线， Master主服务器的客观下线状态就会被移除。若 Master主服务器重新向 Sentinel（哨兵）进程发送 PING 命令返回有效回复，Master主服务器的主观下线状态就会被移除。

   • 故障转移

     当前哨兵虽然发现了主数据客观下线，需要故障恢复，但故障恢复需要由领头哨兵来完成。这样来保证同一时间只有一个哨兵来执行故障恢复，选出领头哨兵后，领头哨兵将会开始对主数据库进行故障恢复。

     ① 首先是从主服务器的从服务器中选出一个从服务器作为新的主服务器。选出之后通过slaveif no ont将该从服务器升为新主服务器。

     ② 所有在线的从数据库中，选择优先级最高的从数据库。优先级通过replica-priority参数设置，优先级相同，则复制的命令偏移量越大(复制越完整)越优先 ， 如果以上都一样，则选择运行ID较小的从数据库。

     ③ 选出一个从数据库后，领头哨兵将向从数据库发送SLAVEOF NO ONE命令使其升格为主数据库，而后领头哨兵向其他从数据库发送 SLAVEOF命令来使其成为新主数据库的从数据库，最后一步则是更新内部的记录，将已经停止服务的旧的主数据库更新为新的主数据库的从数据库，使得当其恢复服务时自动以从数据库的身份继续服务。

   4. 哨兵的优点

   哨兵模式是基于主从模式的，所有主从的优点，哨兵模式都具有。主从可以自动切换，系统更健壮，可用性更高。

   5.哨兵的缺点

   主从服务器的数据要经常进行主从复制，这样造成性能下降。当主服务器宕机后，从服务器切换成主服务器的那段时间，服务是不能用的。Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。

四.Redis-Cluster集群

1. 为什么要Redis-Cluster

   redis的哨兵模式基本已经可以实现高可用，读写分离 ，但是在这种模式下每台redis服务器都存储相同的数据，很浪费内存，所以在redis3.0上加入了cluster模式，实现的redis的分布式存储，也就是说每台redis节点上存储不同的内容。

2. 什么是Redis-Cluster

   Redis-Cluster采用无中心结构，集群中的每个节点都是平等的关系，都是对等的，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，这样就保证了我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据。

3. 数据分散存储

   Redis 集群没有并使用传统的一致性哈希来分配数据，而是采用另外一种叫做哈希槽 (hash slot)的方式来分配的。redis cluster 默认分配了 16384 个slot，当我们set一个key 时，会用**CRC16**算法来取模得到所属的**slot**，然后将这个key 分到哈希槽区间的节点上，具体算法就是：**CRC16(key) % 16384**。

4. 容错机制-投票

   为了防止主节点数据丢失，可以为每个主节点可以准备特点数目的备节点，主节点挂掉从节点可以升级为主节点(哨兵模式) 。

   容错机制指的是,如果半数以上master节点与故障节点通信超过(cluster-node-timeout),认为该节点故障，自动触发故障转移操作. 故障节点对应的从节点自动升级为主节点 ， 如果某个主挂掉，而没有从节点可以使用，那么整个Redis集群进入宕机状态。