redis-cluster是redis官方提供的分布式数据库解决方案,集群通过分片进行数据共享,并提供复制和故障转移功能。
redis集群主要分为主节点和从节点。主节点用于处理槽,而从节点用于复制某个主节点,并在被复制的主节点下线时,代替主节点继续处理命令请求。
Redis分区规则
redis cluster 采用虚拟槽分区,所有的键根据哈希函数映射到0-16383整数槽内,每一个节点负责维护一部分槽以及槽所映射的键值数据。槽是集群内数据管理和迁移的基本单位。
redis虚拟槽分区的特点:
解耦数据与节点之间的关系,简化了节点扩容和收缩难度。
节点自身维护槽的映射关系,无需客户端维护槽分区元数据。
支持节点、槽、键之间的映射查询,用于数据路由、在线伸缩等场景。
当数据库中的16384个槽都有节点在处理时,集群处于上线状态,否则集群处于下线状态。
集群搭建
redis集群节点数量至少为6个才能保证组成完整的高可用集群,我们在一台服务器上启动6个redis进程来模拟3主3从的redis集群。
1. 节点配置
集群模式需要开启cluster-enabled yes参数,使其在集群模式下运行。集群相关配置如下:
#端口
port 6379
#开启集群模式
cluster-enabled yes
#集群内部配置文件
cluster-config-file "/data/6379-cluster/nodes-6379.conf"
#节点超时时间,单位毫秒
cluster-node-timeout 15000
#本地数据库存放目录
dir "/data/6379-cluster/6379-cluster"
#日志输出的路径及文件名称
logfile "/data/6379-cluster/log/redis_6379-cluster.log"
配置完之后复制配置文件,复制多份,并且修改配置文件中的端口、数据库存放路径、log路径等参数。
cp redis_6379.conf redis_6380.conf
cp redis_6379.conf redis_6381.conf
cp redis_6379.conf redis_6382.conf
cp redis_6379.conf redis_6383.conf
cp redis_6379.conf redis_6384.conf
2. 分别启动redis服务进程
redis-server redis_6379.conf
redis-server redis_6380.conf
redis-server redis_6381.conf
redis-server redis_6382.conf
redis-server redis_6383.conf
redis-server redis_6384.conf
3. 节点握手
节点握手是指一批运行在集群模式下的节点通过Gossip协议彼此通讯,到达互相感知的过程。握手命令:cluster meet {IP} {PORT}
127.0.0.1:6379> cluster meet 127.0.0.1 6380
127.0.0.1:6379> cluster meet 127.0.0.1 6381
127.0.0.1:6379> cluster meet 127.0.0.1 6382
127.0.0.1:6379> cluster meet 127.0.0.1 6383
127.0.0.1:6379> cluster meet 127.0.0.1 6384
4. 查看当前集群组件情况
127.0.0.1:6379> cluster nodes
a0b3d847f634588eeaad7e1dea844a1371bb3bd2 127.0.0.1:6380@16380 master - 0 1596595676362 1 connected
2b06b51b6453cd75e8ca24687668f6caf9f51bb2 127.0.0.1:6381@16381 master - 0 1596595674320 2 connected
c2f93c56c33cd4532effb92f8cb4d578fbfdb6f5 127.0.0.1:6384@16384 master - 0 1596595675000 4 connected
c0c09a5689f7b5eb3c1e4621cc048c7863605c61 127.0.0.1:6382@16382 master - 0 1596595674000 3 connected
67a80941bef448769a3777018c00360f05bc030c 127.0.0.1:6383@16383 master - 0 1596595675344 5 connected
de08278d07ef9c2e5f863614c45352f1deb04797 127.0.0.1:6379@16379 myself,master - 0 1596595674000 0 connected
5. 查看集群状态
现在的集群状态还是fail,是因为集群还没有完成槽到节点的映射。
127.0.0.1:6379> cluster info
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:0
cluster_current_epoch:5
cluster_my_epoch:0
cluster_stats_messages_ping_sent:626
cluster_stats_messages_pong_sent:386
cluster_stats_messages_meet_sent:9
cluster_stats_messages_sent:1021
cluster_stats_messages_ping_received:386
cluster_stats_messages_pong_received:341
cluster_stats_messages_received:727
6. 分配槽
redis集群需要把所有数据映射到16384个槽内,每个key会映射为一个固定的槽,只有节点分配了槽才能响应和槽关联的键命令。
[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6379 cluster addslots {0..5461}
OK
[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6381 cluster addslots {5462..10922}
OK
[redis@node1 ~]$ redis-cli -h 127.0.0.1 -p 6383 cluster addslots {10923..16383}
OK
7. 加入从库
第六步我们已经为三个主节点分配了槽,接下来为三个主节点分配从节点。使用cluster replicate {nodeID}命令,命令必须在从节点执行,nodeID是主节点ID。
127.0.0.1:6380> cluster replicate de08278d07ef9c2e5f863614c45352f1deb04797
OK
127.0.0.1:6382> cluster replicate 2b06b51b6453cd75e8ca24687668f6caf9f51bb2
OK
127.0.0.1:6384> cluster replicate 67a80941bef448769a3777018c00360f05bc030c
OK
8. 查看集群状态
通过cluster info和cluster nodes命令查看集群状态和复制关系。
redis-trib.rb搭建集群
redis-trib.rb是redis官方推出的管理redis集群的工具,集成在redis的源码src目录下,是基于redis提供的集群命令封装成简单、便捷、使用的操作工具,可以实现集群的创建、检查、槽迁移和均衡等常见运维操作。
1. 环境准备
安装ruby
tar -zxvf ruby-2.6.5.tar.tar
./configure -prefix=/usr/local/ruby
make
make install
cd /usr/local/ruby/
cp bin/ruby /usr/local/bin
cp bin/gem /usr/local/bin/
#安装rubygem redis依赖
gem install -l redis-4.1.0.gem
#安装redis-trib.rb
cp /usr/local/redis/src/redis-trib.rb /usr/local/bin/
2. 创建集群
首先是修改conf配置文件以及启动redis,步骤同上一章的前两步一致,这里就先忽略,我们用redis-trib.rb创建集群。
[redis@node1 ~]$ redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384
3. check检查集群
[redis@node1 ~]$ redis-trib.rb check 127.0.0.1:6379
4. info查看集群信息
[redis@node1 ~]$ redis-trib.rb info 127.0.0.1:6379
redis-trib.rb管理集群
上面我们介绍了用redis-trib.rb如何搭建集群,现在我们来演示下如何通过redis-trib.rb管理集群。
1. 添加master节点
首先启动一个新的实例。
redis-server redis_6385.conf
将该节点加入到集群中
redis-trib.rb add-node 127.0.0.1:6385 127.0.0.1:6379
为新节点分配slot
redis-trib.rb reshard 127.0.0.1:6385
How many slots do you want to move (from 1 to 16384)? 300 //移动多少槽
What is the receiving node ID? 629c52d1a6cb53e220ad58a864a7f00acbc12831 //接收槽的节点
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots. //all代表从所有master重新分配
Type 'done' once you entered all the source nodes IDs. //从指定节点分配槽,最后用done结束。
Source node #1:777ead5811e3da124ddfa141decfebed2d7a56b6 //源
Source node #2:done
2. 添加slave节点
前两步操作同添加master一样。
redis-cli连接上新节点,输入命令:cluster replicate对应的master的mode-id
3. 从集群中删除节点
针对于非空master,首先需要迁移slots,我么把127.0.0.1:6385迁移到127.0.0.1:6379
redis-trib.rb reshard 127.0.0.1:6379
删除空的master节点
redis-trib.rb del-node 127.0.0.1:6379 629c52d1a6cb53e220ad58a864a7f00acbc12831