Redis集群搭建方式

一、哨兵模式

 

在 redis3.0之前，redis使用的哨兵架构，它借助 sentinel 工具来监控 master 节点的状态；如果 master 节点异常，则会做主从切换，将一台 slave 作为 master。

 

哨兵模式的缺点：

 

（1）当master挂掉的时候，sentinel 会选举出来一个 master，选举的时候是没有办法去访问Redis的，会存在访问瞬断的情况；若是在电商网站大促的时候master给挂掉了，几秒钟损失好多订单数据；

 

（2）哨兵模式，对外只有master节点可以写，slave节点只能用于读。尽管Redis单节点最多支持10W的QPS，但是在电商大促的时候，写数据的压力全部在master上。

 

（3）Redis的单节点内存不能设置过大，若数据过大在主从同步将会很慢；在节点启动的时候，时间特别长；（从节点上有主节点的所有数据）

 

二、Redis集群

1、Redis集群的介绍

 

 

 　　Redis集群是一个由多个主从节点群组成的分布式服务集群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单。

 

2、Redis集群的优点：

（1）Redis集群有多个master，可以减小访问瞬断问题的影响；

 

　　若集群中有一个master挂了，正好需要向这个master写数据，这个操作需要等待一下；但是向其他master节点写数据是不受影响的。

 

（2）Redis集群有多个master，可以提供更高的并发量；　　

 

（3）Redis集群可以分片存储，这样就可以存储更多的数据；

 

3、Redis集群的搭建

Redis的集群搭建最少需要3个master节点，我们这里搭建3个master，每个下面挂一个slave节点，总共6个Redis节点；（3台机器，每台机器一主一从）

 

第1台机器： 192.168.1.1 8001端口 8002端口

 

第2台机器： 192.168.1.2 8001端口 8002端口

 

第3台机器： 192.168.1.3 8001端口 8002端口

 

第一步：创建文件夹

 

mkdir -p /usr1/redis/redis-cluster/8001 /usr1/redis/redis-cluster/8002

第二步：将redis安装目录下的 redis.conf 文件分别拷贝到8001目录下

 

cp /usr1/redis-5.0.3/redis.conf /usr1/redis/redis-cluster/8001

第三步：修改redis.conf文件以下内容

 

复制代码

port 8001

daemonize yes

pidfile "/var/run/redis_8001.pid"

 

#指定数据文件存放位置，必须要指定不同的目录位置，不然会丢失数据

dir /usr1/redis/redis-cluster/8001/

 

#启动集群模式

cluster-enabled yes

 

#集群节点信息文件，这里800x最好和port对应上

cluster-config-file nodes-8001.conf

 

# 节点离线的超时时间

cluster-node-timeout 5000

 

#去掉bind绑定访问ip信息

#bind 127.0.0.1

 

#关闭保护模式

protected-mode no 

 

#启动AOF文件

appendonly yes

 

#如果要设置密码需要增加如下配置：

#设置redis访问密码

requirepass redis-pw

 

#设置集群节点间访问密码，跟上面一致

masterauth redis-pw

复制代码

第四步，把上面修改好的配置文件拷贝到8002文件夹下，并将8001修改为8002：

 

复制代码

cp /usr1/redis/redis-cluster/8001/redis.conf /usr1/redis/redis-cluster/8002

cd /usr1/redis/redis-cluster/8002/

vim redis.conf

 

#批量修改字符串

:%s/8001/8002/g

复制代码

第五步，将本机（192.168.1.1）机器上的文件拷贝到另外两台机器上

 

scp /usr1/redis/redis-cluster/8001/redis.conf [email protected]:/usr1/redis/redis-cluster/8001/

scp /usr1/redis/redis-cluster/8002/redis.conf [email protected]:/usr1/redis/redis-cluster/8002/

 

scp /usr1/redis/redis-cluster/8001/redis.conf [email protected]:/usr1/redis/redis-cluster/8001/

scp /usr1/redis/redis-cluster/8002/redis.conf [email protected]:/usr1/redis/redis-cluster/8002/

第六步，分别启动这6个redis实例，然后检查是否启动成功

 

/usr1/redis/redis-5.0.3/src/redis-server /usr1/redis/redis-cluster/8001/redis.conf 

/usr1/redis/redis-5.0.3/src/redis-server /usr1/redis/redis-cluster/8002/redis.conf 

ps -ef | grep redis

 

 

 第七步，使用 redis-cli 创建整个 redis 集群（redis5.0版本之前使用的ruby脚本 redis-trib.rb）

 

运行以上命令，完成搭建

 

/usr1/redis/redis-5.0.3/src/redis-cli -a redis-pw --cluster create --cluster-replicas 1 192.168.1.1:8001 192.168.1.1:8002 192.168.1.2:8001 192.168.1.2:8002 192.168.1.3:8001 192.168.1.3:8002

 

 

说明： 

 

　　-a ：密码；

 

　　 --cluster-replicas 1：表示1个master下挂1个slave； --cluster-replicas 2：表示1个master下挂2个slave。

 

扩展：

 

　　查看帮助命令： src/redis‐cli --cluster help 

 

复制代码

create：创建一个集群环境host1:port1 ... hostN:portN

call：可以执行redis命令

add-node：将一个节点添加到集群里，第一个参数为新节点的ip:port，第二个参数为集群中任意一个已经存在的节点的ip:port

del-node：移除一个节点

reshard：重新分片

check：检查集群状态

复制代码

 第八步，验证集群

 

（1）连接任意一个客户端

 

/usr1/redis/redis-5.0.3/src/redis-cli -a redis-pw -c -h 192.168.1.1 -p 8001

说明：‐a表示服务端密码；‐c表示集群模式；-h指定ip地址；-p表示端口号

 

（2）查看集群的信息： cluster info   

 

 

 

（3） 查看节点列表： cluster nodes slave 对应的 master 从上面也可以看到；

 

从上面可以看到 slave挂在哪个 master 下面；

 

 

 

 在 /usr1/redis/redis-cluster/8001/nodes-8001.conf 文件中存储了节点信息；

 

（4）进行数据操作验证；

 

（5）关闭集群则需要逐个进行关闭，使用命令：

 

/usr/local/redis‐5.0.3/src/redis‐cli ‐a redis-pw ‐c ‐h 192.168.1.1 ‐p 8001 shutdown

/usr/local/redis‐5.0.3/src/redis‐cli ‐a redis-pw ‐c ‐h 192.168.1.1 ‐p 8002 shutdown

......

注意：在创建集群的时候，需要把所有节点机器上的防火关闭，保证 Redis的服务端口和集群节点通信的 gossip 端口能通；

 

　　systemctl stop firewalld # 临时关闭防火墙

 

　　systemctl disable firewalld # 禁止开机启动

 

 4、Redis集群原理分析

 　　Redis Cluster 将所有数据划分为 16384 个 slots（槽位），每个节点负责其中一部分槽位。槽位的信息存储于每个节点中。只有master节点会被分配槽位，slave节点不会分配槽位。

 

　　当Redis Cluster 的客户端来连接集群时，它也会得到一份集群的槽位配置信息，并将其缓存在客户端本地。这样当客户端要查找某个 key 时，可以直接定位到目标节点。同时因为槽位的信息可能会存在客户端与服务器不一致的情况，还需要纠正机制来实现槽位信息的校验调整。

 

槽位定位算法

 

 

 

 Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。

 

　　　　　　　　　　　　 HASH_SLOT = CRC16(key) % 16384 

 

跳转重定位

 

 　　当客户端向一个节点发出了指令，首先当前节点会计算指令的 key 得到槽位信息，判断计算的槽位是否归当前节点所管理；若槽位不归当前节点管理，这时它会向客户端发送一个特殊的跳转指令携带目标操作的节点地址，告诉客户端去连这个节点去获取数据。客户端收到指令后除了跳转到正确的节点上去操作，还会同步更新纠正本地的槽位映射表缓存，后续所有 key 将使用新的槽位映射表。

 

 

 

 Redis集群节点之间的通信机制

 

维护集群的元数据有集中式和 gossip两种方式，Redis 的集群节点之间的通信采取 gossip 协议进行通信

 

（1）集中式：

 

　　优点：元数据的更新和读取，时效性非常好，一旦元数据出现变更立即就会更新到集中式的存储中，其他节点读取的时候立即就可以立即感知到；

 

　　缺点：所有的元数据的更新压力全部集中在一个地方，可能导致元数据的存储压力。zookeeper使用该方式

 

（2）gossip：

 

　　gossip协议包含多种消息，包括ping，pong，meet，fail等等。。

 

　　优点：元数据的更新比较分散，不是集中在一个地方，更新请求会陆陆续续，打到所有节点上去更新，有一定的延时，降低了压力；

 

　　缺点：元数据更新有延时可能导致集群的一些操作会有一些滞后。

 

　　每个节点都有一个专门用于节点间通信的端口，就是自己提供服务的端口号+10000，比如7001，那么用于节点间通信的就是17001端口。 每个节点每隔一段时间都会往另外几个节点发送ping消息，同时其他几点接收到ping消息之后返回pong消息。

 

网络抖动

 

　　网络抖动就是非常常见的一种现象，突然之间部分连接变得不可访问，然后很快又恢复正常。

　　为解决这种问题，Redis Cluster 提供了一种选项 cluster-­node-­timeout ，表示当某个节点失联的时间超过了配置的 timeout时，才可