Redis Cluster集群运维-03

1、Redis集群方案比较

 哨兵模式

在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异

常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现

一般，特别是在主从切换的瞬间存在 访问瞬断 的情况，而且哨兵模式只有一个主节点对外提供服务，没法支持

很高的并发，且单个主节点内存也不宜设置得过大，否则会导致持久化文件过大，影响数据恢复或主从同步的

效率

高可用集群模式

 

 

redis集群是一个由多个 主从节点群组成的分布式服务器群 ，它具有 复制、高可用和分片 特性。Redis集群不需

要sentinel哨兵∙也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中

心节点，可水平扩展，据官方文 档称可以线性扩展到上万个节点( 官方推荐不超过1000个节点 )。redis集群的

性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单

2、Redis高可用集群搭建

redis集群搭建

redis集群需要 至少三个master节点 ，我们这里搭建三个master节点，并且给每个master再搭建一个slave节

点，总共6个redis节点，这里用三台机器部署6个redis实例，每台机器一主一从，搭建集群的步骤如下：

第一步：在第一台机器的/usr/local下创建文件夹redis‐cluster，然后在其下面分别创建2个文件夾如下
 （1）mkdir ‐p /usr/local/redis‐cluster
 （2）mkdir 8001 8004

第一步：把之前的redis.conf配置文件copy到8001下，修改如下内容：
 （1）daemonize yes
 （2）port 8001（分别对每个机器的端口号进行设置）
 （3）pidfile /var/run/redis_8001.pid # 把pid进程号写入pidfile配置的文件
 （4）dir /usr/local/redis‐cluster/8001/（指定数据文件存放位置，必须要指定不同的目录位置，不然会丢失数据）
 （5）cluster‐enabled yes（启动集群模式）
 （6）cluster‐config‐file nodes‐8001.conf（集群节点信息文件，这里800x最好和port对应上）
 （7）cluster‐node‐timeout 10000
 (8)# bind 127.0.0.1（bind绑定的是自己机器网卡的ip，如果有多块网卡可以配多个ip，代表允许客户端通
过机器的哪些网卡ip去访问，内网一般可以不配置bind，注释掉即可）
 (9)protected‐mode no （关闭保护模式）
 (10)appendonly yes
 如果要设置密码需要增加如下配置：
 (11)requirepass yanqiuxiang(设置redis访问密码)
 (12)masterauth yanqiuxiang(设置集群节点间访问密码，跟上面一致)
第三步：把修改后的配置文件，copy到8004，修改第2、3、4、6项里的端口号，可以用批量替换：
 :%s/源字符串/目的字符串/g

 第四步：另外两台机器也需要做上面几步操作，第二台机器用8002和8005，第三台机器用8003和8006

 第五步：分别启动6个redis实例，然后检查是否启动成功
 （1）/usr/local/redis‐5.0.3/src/redis‐server /usr/local/redis‐cluster/800*/redis.conf
 （2）ps ‐ef | grep redis 查看是否启动成功

 第六步：用redis‐cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis‐trib.rb实现)
 # 下面命令里的1代表为每个创建的主服务器节点创建一个从服务器节点
 # 执行这条命令需要确认三台机器之间的redis实例要能相互访问，可以先简单把所有机器防火墙关掉，如果不
关闭防火墙则需要打开redis服务端口和集群节点gossip通信端口16379(默认是在redis端口号上加1W)
 # 关闭防火墙
 # systemctl stop firewalld # 临时关闭防火墙
 # systemctl disable firewalld # 禁止开机启动
 # 注意：下面这条创建集群的命令大家不要直接复制，里面的空格编码可能有问题导致创建集群不成功
 （1）/usr/local/redis‐5.0.3/src/redis‐cli ‐a yanqiuxiang‐‐cluster create ‐‐cluster‐replicas 1 192.168.30.130:8001 192.168.30.131:8002 192.168.30.132:8003 192.168.30.132:8004 192.168.0.62:8005 192.168.30.133:8006
 第七步：验证集群：
 （1）连接任意一个客户端即可：./redis‐cli ‐c ‐h ‐p (‐a访问服务端密码，‐c表示集群模式，指定ip地址
和端口号）
 如：/usr/local/redis‐5.0.3/src/redis‐cli ‐a zhuge ‐c ‐h 192.168.30.130 ‐p 800*
 （2）进行验证： cluster info（查看集群信息）、cluster nodes（查看节点列表）
 （3）进行数据操作验证
 （4）关闭集群则需要逐个进行关闭，使用命令：
 /usr/local/redis‐5.0.3/src/redis‐cli ‐a yanqiuxiang‐c ‐h 192.168.30.130 ‐p 800* shutdown

3、Redis集群原理分析

Redis Cluster 将所有数据划分为 16384 个 slots(槽位)，每个节点负责其中一部分槽位。槽位的信息存储于每

个节点中。

当 Redis Cluster 的客户端来连接集群时，它也会得到一份集群的槽位配置信息并将其缓存在客户端本地。这

样当客户端要查找某个 key 时，可以直接定位到目标节点。同时因为槽位的信息可能会存在客户端与服务器不

一致的情况，还需要纠正机制来实现槽位信息的校验调整。

槽位定位算法

Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模

来得到具体槽位。

HASH_SLOT = CRC16(key) mod 16384

跳转重定位

当客户端向一个错误的节点发出了指令，该节点会发现指令的 key 所在的槽位并不归自己管理，这时它会向客

户端发送一个特殊的跳转指令携带目标操作的节点地址，告诉客户端去连这个节点去获取数据。客户端收到指

令后除了跳转到正确的节点上去操作，还会同步更新纠正本地的槽位映射表缓存，后续所有 key 将使用新的槽

位映射表。

Redis集群节点间的通信机制

redis cluster节点间采取gossip协议进行通信

维护集群的元数据(集群节点信息，主从角色，节点数量，各节点共享的数据等)有两种方式：集中

式和gossip

 

集中式：

优点在于元数据的更新和读取，时效性非常好，一旦元数据出现变更立即就会更新到集中式的存储中，其他节

点读取的时候立即就可以立即感知到；不足在于所有的元数据的更新压力全部集中在一个地方，可能导致元数

据的存储压力。 很多中间件都会借助zookeeper集中式存储元数据。

gossip： gossip协议包含多种消息，包括ping，pong，meet，fail等等。

meet ：某个节点发送meet给新加入的节点，让新节点加入集群中，然后新节点就会开始与其他节点进行通

信；

ping ：每个节点都会频繁给其他节点发送ping，其中包含自己的状态还有自己维护的集群元数据，互相通过

ping交换元数据(类似自己感知到的集群节点增加和移除，hash slot信息等)；

pong : 对ping和meet消息的返回，包含自己的状态和其他信息，也可以用于信息广播和更新；

fail : 某个节点判断另一个节点fail之后，就发送fail给其他节点，通知其他节点，指定的节点宕机了。

gossip协议的优点在于元数据的更新比较分散，不是集中在一个地方，更新请求会陆陆续续，打到所有节点上

去更新，有一定的延时，降低了压力；缺点在于元数据更新有延时可能导致集群的一些操作会有一些滞后。

gossip通信的10000端口

每个节点都有一个专门用于节点间gossip通信的端口，就是自己提供服务的端口号+10000，比如7001，那么

用于节点间通信的就是17001端口。 每个节点每隔一段时间都会往另外几个节点发送ping消息，同时其他几

点接收到ping消息之后返回pong消息。