Redis集群部署

Redis集群介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:

• 自动分割数据到不同的节点上。
• 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

Redis 集群的数据分片

Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

• 节点 A 包含 0 到 5500号哈希槽.
• 节点 B 包含5501 到 11000 号哈希槽.
• 节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

Redis 集群的主从复制模型

为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

在我们例子中具有A，B，C三个节点的集群,在没有复制模型的情况下,如果节点B失败了，那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

然而如果在集群创建的时候（或者过一段时间）我们为每个节点添加一个从节点A1，B1，C1,那么整个集群便有三个master节点和三个slave节点组成，这样在节点B失败后，集群便会选举B1为新的主节点继续服务，整个集群便不会因为槽找不到而不可用了

不过当B和B1 都失败后，集群是不可用的.

Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。

搭建并使用Redis集群

搭建集群的第一件事情我们需要一些运行在 集群模式的Redis实例. 这意味这集群并不是由一些普通的Redis实例组成的，集群模式需要通过配置启用，开启集群模式后的Redis实例便可以使用集群特有的命令和特性了.

要让集群正常运作至少需要三个主节点，不过在刚开始试用集群功能时， 强烈建议使用六个节点： 其中三个为主节点， 而其余三个则是各个主节点的从节点。

首先， 新建一个目录， 并创建六个以端口号为名字的子目录，

[root@server1 ~]# mkdir /usr/local/rediscluster

[root@server1 ~]# cd /usr/local/rediscluster

[root@server1 rediscluster]# mkdir 700{1..6}

 然后我们在将每个目录中运行一个 Redis 实例

[root@server1 rediscluster]# cd 7001

[root@server1 7001]# vim redis.conf

port 7001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
pidfile "/usr/local/rediscluster/7001/redis.pid"
logfile "/usr/local/rediscluster/7001/redis.log"
daemonize yes
dir "/usr/local/rediscluster/7001"

[root@server1 7001]# redis-server redis.conf

如上7001文件夹中的操作，在文件夹 7002 至 7006 中， 各创建一个 redis.conf 文件， 文件的内容可以使用上面的示例配置文件， 但记得将配置中的端口号 改为与文件夹名字相同的号码。

[root@server1 rediscluster]# cd 7002

[root@server1 7002]# vim redis.conf

[root@server1 7002]# redis-server redis.conf

 

[root@server1 rediscluster]# cd 7003

[root@server1 7003]# vim redis.conf

[root@server1 7003]# redis-server redis.conf

 

[root@server1 rediscluster]# cd 7004

[root@server1 7004]# vim redis.conf

[root@server1 7004]# redis-server redis.conf

 

[root@server1 rediscluster]# cd 7005

[root@server1 7005]# vim redis.conf

[root@server1 7005]# redis-server redis.conf

 

[root@server1 rediscluster]# cd 7006

[root@server1 7006]# vim redis.conf

[root@server1 7006]# redis-server redis.conf

配置完毕后，ps ax查看集群进程：

搭建集群

现在我们已经有了六个正在运行中的 Redis 实例， 接下来我们需要使用这些实例来创建集群.

之前一直通过使用 Redis 集群命令行工具 redis-trib 来创建集群，但在新版本的Redis中所有属于 redis-trib 的命令和属性都移植到了redis-cli上，也就是可以直接使用redis-cli命令搭建集群。

[root@server1 7006]# redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7001 127.0.0.1:7002  127.0.0.1:7003  127.0.0.1:7004  127.0.0.1:7005  127.0.0.1:7006

这个命令在这里用于创建一个新的集群, 选项–replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。之后跟着的其他参数则是这个集群实例的地址列表,3个master3个slave

由以上信息可以看出这六个节点的主从关系是：

master	slave
127.0.0.1:7001	127.0.0.1:7006
127.0.0.1:7002	127.0.0.1:7004
127.0.0.1:7003	127.0.0.1:7005

查看集群信息

[root@server1 7006]# redis-cli --cluster info 127.0.0.1:7001  ##需要给定一个集群的入口地址

测试：

1.任何节点操作，都会有 redis 集群分配，自动跳转

info 命令指定集群上任一节点的地址便可以查看集群状态

 

2.破坏任意一组Master、Slave，集群无法使用

首先破坏Master：7002

其Slave：7004接替成为Master

[root@server1 7006]# redis-cli --cluster check 127.0.0.1:7001

继续破坏7004后，集群无法使用

3.破坏集群中过半的Master，集群可以继续使用

恢复节点7002、7004

[root@server1 7006]# cd ../7002
[root@server1 7002]# redis-server redis.conf
[root@server1 7002]# cd ../7004
[root@server1 7004]# redis-server redis.conf

可以看出集群恢复正常

破坏现在的集群Master：7001、7003

集群可以继续使用

哈希槽的漂移

使用哈希槽的好处就在于可以方便的添加或移除节点。

当需要增加节点时，只需要把其他节点的某些哈希槽挪到新节点就可以了；

当需要移除节点时，只需要把移除节点上的哈希槽挪到其他节点就行了；

在这一点上，在新增或移除节点的时候不用先停掉所有的 redis 服务。

 

<1>在/usr/local/rediscluster目录下新建两个节点目录7007和7008，并编写配置文件

[root@server1 rediscluster]# mkdir 7007
[root@server1 rediscluster]# mkdir 7008
[root@server1 rediscluster]# cp 7001/redis.conf 7007/
[root@server1 rediscluster]# cp 7001/redis.conf 7008/
[root@server1 rediscluster]# vim 7007/redis.conf

[root@server1 rediscluster]# vim 7008/redis.conf

[root@server1 rediscluster]# redis-server 7007/redis.conf
[root@server1 rediscluster]# redis-server 7008/redis.conf

<2>将节点7007加入上面建立的集群中

[root@server1 rediscluster]# redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7001

节点7007默认被分配为master

<3>将节点7008作为7007的slave加入到集群中

[root@server1 rediscluster]# redis-cli --cluster add-node --cluster-slave --cluster-master-id "bea864add37a783a102890a55132715a81cba265" 127.0.0.1:7008 127.0.0.1:7007

 

<4>给节点7007分配哈希槽

[root@server1 rediscluster]# redis-cli --cluster reshard --cluster-from all --cluster-to bea864add37a783a102890a55132715a81cba265 --cluster-slots 300 --cluster-yes 127.0.0.1:7001

查看分配结果

重新平分所有哈希槽

[root@server1 rediscluster]# redis-cli --cluster rebalance --cluster-threshold 1 --cluster-use-empty-masters 127.0.0.1:7001

平分结果: