NoSQL 之Redis 集群

一、概述

单节点Redis服务器带来的问题

• 单点故障
• 无法处理大量数据并发数据请求
• 数据丢失一大堆

解决方法
搭建Redis集群

1.1、Redis 集群介绍

• Redis集群是一个提供在多个Redis间节点间共享数据的程序集
• Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误。
• Redis集群通过分区来提供一定程度的可用性，在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令

1.2、Redis 集群的优势

• 自动分割数据到不同的节点上
• 整个集群的部分节点失败或者不可达的情况下能够继续处理命令

1.3、Redis 集群的实现方法

• 客户端分片
• 代理分片
• 服务器端分片

1.4、Redis-Cluster 数据分片

• Redis集群没有使用一致性hash，而是引入了哈希槽概念

• Redis集群有16384个哈希槽

• 每个key通过CRC16校验后对16384取模来决定放置槽

• 集群的每个节点负责一部分哈希槽

• 以3个节点组成的集群为例

  • 节点A包含0到5500号哈希槽
  • 节点B包含5501到11000号哈希槽
  • 节点C包含11001到16384号哈希槽

• 支持添加或者删除节点

  • 添加删除节点无需停止服务
  • 例如
    • 如果想新添加个节点D，需要移动节点A，B，C中的部分槽到D上
    • 如果想移除节点A，需要将A中的槽移到B和C节点上，再将没有任何槽的A节点从集群中移除

1.5、Redis-Cluster 的主从复制模型

• 集群中具有A，B，C三个节点，如果节点B失败了，整个集群就会缺失5501-11000这个范围的槽而不可用
• 为每个节点添加一个从节点A1，B1，C1，整个集群便有三个master节点和三个salve节点组成，在节点B失败后，集群便会选举B1为新的主节点继续服务
• 当B和B1都失败后，集群将不可用

二、集群实验

2.1、实验环境

VMware软件
六台centos7.4虚拟机，
三台作为master服务器，ip分别为20.0.0.21、20.0.0.22、20.0.0.23
三台作为slave服务器，ip分别为20.0.0.24、20.0.0.25、20.0.0.26

六台虚拟机均关闭核心防护和防火墙 安装gcc、gcc-c++、make

[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# setenforce 0
[root@localhost ~]# hostnamectl set-hostname master1
[root@master1 ~]# yum install gcc gcc-c++ make -y

2.2、实验过程

首先六台虚拟机都需要安装redis
详细安装步骤
修改配置文件，六台都需要修改
以master1为例

[root@master1 utils]# vim /etc/redis/6379.conf 
 70 # bind 127.0.0.1		#bind 选项默认监听所有网卡
 89  protected-mode no		#关闭保护模式
 93  port 6379
 137 daemonize yes		#以独立进程启动
 833 cluster-enabled yes		#开启群集功能
 841 cluster-config-file nodes-6379.conf	#群集名称文件设置(841,841 s/# //g)
 847 cluster-node-timeout 15000		#群集超时时间设置
 700 appendonly yes			#开启aof持久化
[root@master1 utils]# /etc/init.d/redis_6379 restart

正常启动后，/var/lib/redis/6379/目录下会多出两个文件，
一个是持久化appendonly.aof文件，另外一个是节点首次启动生成的 nodes-6379.conf 配置文件。

三台Master做的操作，master1为例

导入key文件
gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3

上传rvm，并安装rvm
tar zvxf rvm-master.tar\(1\).gz 
./install 

执行环境变量
source /etc/profile.d/rvm.sh 

安装Ruby可安装的版本
rvm list known

安装Ruby2.4.1版本
rvm install 2.4.1

使用Ruby2.4.1版本
rvm use 2.4.1

查看当前Ruby2.4.1版本
ruby -v

再次安装Redis
gem install redis

master服务器创建集群

redis-cli --cluster create 20.0.0.21:6379 20.0.0.22:6379 20.0.0.23:6379 20.0.0.24:6379 20.0.0.25:6379 20.0.0.26:6379 --cluster-replicas 1

>>> Performing hash slots allocation on 6 nodes...
...省略部分内容

验证,创建一个键值

[root@master1 ~]#  redis-cli -h 20.0.0.21 -p 6379
20.0.0.21:6379> set user zhangsan
OK

20.0.0.21:6379> keys *
“user”

20.0.0.21:6379> get user
“zhangsan”

20.0.0.21:6379> exit

到22节点查看
[root@master2 ~]# redis-cli -h 20.0.0.22 -p 6379
20.0.0.22:6379> keys *
 “user”

20.0.0.22:6379> get user
“zhangsan”

20.0.0.22:6379> exit

[root@master3 ~]# redis-cli -h 20.0.0.23 -p 6379
20.0.0.23:6379> get user
“zhangsan”

20.0.0.23:6379> quit

[root@slave1 ~]# redis-cli -h 20.0.0.24 -p 6379
20.0.0.24:6379> get user
(error) MOVED 14124 20.0.0.21:6379