目录
引言
壹、Redis主从复制
一、Redis的高可用
二、Redis持久化
1、Redis 提供两种方式进行持久化
2、RDB 持久化
三、Redis主从复制
1、Redis主从复制的概念
2、Redis主从复制
四、Redis主从复制的搭建
环境准备
(1)安装Redis(所有主机)
(2)修改Master节点Redis配置文件
(3)修改Slave节点Redis配置文件
(4)验证主从效果
五、Redis 命令工具
1、redis-cli 命令行工具
2、redis-benchmark 测试工具
3、Redis 数据库常用命令
贰、Redis 哨兵模式
六、Redis 哨兵模式
1、Redis哨兵模式的原理
2、Redis哨兵模式的作用
3、Redis哨兵模式的结构
4、Redis故障转移的机制
5、Redis主节点的选举
1、Redis哨兵模式的搭建
(1)修改 Redis 配置文件(所有节点操作)
(2)启动哨兵模式
(3)查看哨兵模式信息
(4)故障模拟
(5)验证结果
(6)master的redis恢复过程
叁、Redis 集群模式
七、Redis 集群模式
1、Redis集群的概念
2、Redis集群的作用
3、Redis集群的数据分片
4、Redis集群模式的搭建
在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999%等等)。
但是在Redis语境中,高可用的含义似乎要宽泛一些,除了保证提供正常服务(如主从分离、快速容灾技术),还需要考虑数据容量的扩展、数据安全不会丢失等。
持久化的功能:Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘;当下次Redis重启时,利用持久化文件实现数据恢复。除此之外,为了进行灾难备份,可以将持久化文件拷贝到一个远程位置。
RDB 持久化:原理是将 Reids在内存中的数据库记录定时保存到磁盘上。
AOF 持久化(append only file):原理是将 Reids 的操作日志以追加的方式写入文件,类似于MySQL的binlog。
由于AOF持久化的实时性更好,即当进程意外退出时丢失的数据更少,因此AOF是目前主流的持久化方式,不过RDB持久化仍然有其用武之地。
RDB持久化是指在指定的时间间隔内将内存中当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化),用二进制压缩存储,保存的文件后缀是rdb;当Redis重新启动时,可以读取快照文件恢复数据。
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。
默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
sync command
"命令,请求同步连接。主机 | IP地址 |
---|---|
Master节点 | 192.168.187.48 |
Slave1节点 | 192.168.187.68 |
Slave2节点 | 192.168.187.78 |
关闭防火墙及核心防护
systemctl stop firewalld
setenforce 0
yum install -y gcc gcc-c++ make
cd /opt
tar zxvf redis-5.0.7.tar.gz
cd /opt/redis-5.0.7/
make && make PREFIX=/usr/local/redis install
cd /opt/redis-5.0.7/utils
./install_server.sh
......
#回车四次后,手动输入,需要一次性输入正确
Please select the redis executable path [] /usr/local/redis/bin/redis-server
ln -s /usr/local/redis/bin/* /usr/local/bin/
vim /etc/redis/6379.conf
#70行,修改bind 项,0.0.0.0监听所有网段
bind 0.0.0.0
#137行,开启守护进程
daemonize yes
#172行,指定日志文件目录
logfile /var/log/redis_6379.log
#264行,指定工作目录
dir /var/lib/redis/6379
#700行,开启AOF持久化功能
appendonly yes
/etc/init.d/redis_6379 restart
vim /etc/redis/6379.conf
#70行,修改bind 项,0.0.0.0监听所有网卡
bind 0.0.0.0
#137行,开启守护进程
daemonize yes
#172行,指定日志文件目录
logfile /var/log/redis_6379.log
#264行,指定工作目录
dir /var/lib/redis/6379
#288行,指定要同步的Master节点IP和端口
replicaof 192.168.187.48 6379
#700行,开启AOF持久化功能
appendonly yes
/etc/init.d/redis_6379 restart
slave1
slave2
tail -f /var/log/redis_6379.log
redis-cli info replication
redis-server 用于启动 Redis 的工具
redis-benchmark 用于检测 Redis 在本机的运行效率
redis-check-aof 修复 AOF 持久化文件
redis-check-rdb 修复 RDB 持久化文件
redis-cli Redis命令行工具
语法:
redis-cli -h host -p port -a password
-h | 指定远程主机 |
---|---|
-p | 指定 Redis 服务的端口号 |
-a | 指定密码,未设置数据库密码可以省略-a 选项 |
redis-benchmark 是官方自带的 Redis 性能测试工具,可以有效的测试 Redis 服务的性能。
基本的测试语法:
redis-benchmark [选项] [选项值]
参数 | 说明 |
---|---|
-h | 指定服务器主机名。 |
-p | 指定服务器端口。 |
-s | 指定服务器 socket |
-c | 指定并发连接数。 |
-n | 指定请求数。 |
-d | 以字节的形式指定 SET/GET 值的数据大小。 |
-k | 1=keep alive 0=reconnect |
-r | SET/GET/INCR 使用随机 key, SADD 使用随机值 |
-P | 通过管道传输请求 |
-q | 强制退出 redis。仅显示 query/sec 值。 |
-csv | 以 CSV 格式输出 |
-l | 生成循环,永久执行测试 |
-t | 仅运行以逗号分隔的测试命令列表 |
-I | Idle 模式。仅打开 N 个 idle 连接并等待 |
set | 存放数据,命令格式为 set key value |
---|---|
get | 获取数据,命令格式为 get key |
keys | 命令可以取符合规则的键值列表,通常情况可以结合*、?等选项来使用 |
exists | 命令可以判断键值是否存在 |
del | 命令可以删除当前数据库的指定 key |
type | 命令可以获取 key 对应的 value 值类型 |
前言
主从切换技术的方法是:当服务器宕机后,需要手动一台从机切换为主机,这需要人工干预,不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点,就有了哨兵机制。
哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移。
哨兵结构由两部分组成,哨兵节点和数据节点:
哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式,所有节点上都需要部署哨兵模式,哨兵模式会监控所有的 Redis 工作节点是否正常,当 Master 出现问题的时候,因为其他节点与主节点失去联系,因此会投票,投票过半就认为这个 Master 的确出现问题,然后会通知哨兵间,然后从 Slaves 中选取一个作为新的 Master。
注意:客观下线是主节点才有的概念;如果从节点和哨兵节点发生故障,被哨兵主观下线后,不会再有后续的客观下线和故障转移操作。
由哨兵节点定期监控发现主节点是否出现了故障
每个哨兵节点每隔1秒会向主节点、从节点及其它哨兵节点发送一次ping命令做一次心跳检测。如果主节点在一定时间范围内不回复或者是回复一个错误消息,那么这个哨兵就会认为这个主节点主观下线了(单方面的)。当超过半数哨兵节点认为该主节点主观下线了,这样就客观下线了。
当主节点出现故障,此时哨兵节点会通过Raft算法(选举算法)实现选举机制共同选举出一个哨兵节点为leader,来负责处理主节点的故障转移和通知。所以整个运行哨兵的集群的数量不得少于3个节点。
由leader哨兵节点执行故障转移,过程如下:
将某一个从节点升级为新的主节点,让其它从节点指向新的主节点。
若原主节点恢复也变成从节点,并指向新的主节点。
通知客户端主节点已经更换。
需要特别注意的是,客观下线是主节点才有的概念;如果从节点和哨兵节点发生故障,被哨兵主观下线后,不会再有后续的客观下线和故障转移操作。
注:哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式
环境配置
此时主从复制已搭建完成
主机 | 操作系统 | IP地址 | 安装包 |
---|---|---|---|
Master | CentOS7 | 192.168.187.48 | redis-5.0.7.tar.gz |
Slave1 | CentOS7 | 192.168.187.68 | redis-5.0.7.tar.gz |
Slave2 | CentOS7 | 192.168.187.78 | redis-5.0.7.tar.gz |
vim /opt/redis-5.0.7/sentinel.conf
#17行,关闭保护模式
protected-mode no
#21行,Redis哨兵默认的监听端口
port 26379
#26行,指定sentinel为后台启动
daemonize yes
#36行,指定日志存放路径
logfile "/var/log/sentinel.log"
#65行,指定数据库存放路径
dir "/var/lib/redis/6379"
#84行,修改 指定该哨兵节点监控192.168.187.48:6379这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移
sentinel monitor mymaster 192.168.187.48 6379 2
#113行,判定服务器down掉的时间周期,默认30000毫秒(30秒)
sentinel down-after-milliseconds mymaster 30000
#146行,故障节点的最大超时时间为180000(180秒)
sentinel failover-timeout mymaster 180000
Master:192.168.187.48
Slave1:192.168.187.68
Slave2:192.168.187.78
注意:先启master,再启slave
cd /opt/redis-5.0.7/
redis-sentinel sentinel.conf &
Master查看
redis-cli -p 26379 info Sentinel
Master:192.168.80.20
#查看redis-server进程号
ps aux | grep redis
root 20089 0.1 0.1 156452 7392 ? Ssl 14:32 0:04 /usr/local/redis/bin/redis-server 0.0.0.0:6379
root 20559 0.2 0.1 153892 7492 ? Ssl 15:21 0:01 redis-sentinel *:26379 [sentinel]
root 20636 0.0 0.0 112724 988 pts/0 S+ 15:28 0:00 grep --color=auto redis
#杀死 Master 节点上redis-server的进程号,模拟故障
kill -9 20089 #Master节点上redis-server的进程号
Master:
tail -f /var/log/sentinel.log
redis-cli -p 26379 INFO Sentinel
如过要将以前的master的redis启动,需要先将/var/run/redis_6379.pid文件删除,删除后在执行/etc/init.d/redis_6379 start ,即可启动redis服务,启动之后,哨兵会将它设置为salve从节点,并自动指向新的节点。
最好再去配置文件中去指向主从复制的master,也就是将重新启动的master的配置文件/etc/redis/6379.conf 中的 288行重新指向新的master。
集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。
集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。
(1)数据分区
(2)高可用
以3个节点组成的集群为例
节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽
Redis集群的主从复制模型
集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用
环境配置
redis的集群一般需要6个节点,3主3从。
先在六台服务器上安装redis数据库
主机 | 操作系统 | IP地址:端口号 | 安装包 |
---|---|---|---|
Master1 | CentOS7 | 192.168.187.48:6371 | redis-5.0.7.tar.gz |
Master2 | CentOS7 | 192.168.187.108:6372 | redis-5.0.7.tar.gz |
Master3 | CentOS7 | 192.168.187.118:6373 | redis-5.0.7.tar.gz |
Slave1 | CentOS7 | 192.168.187.68:6374 | redis-5.0.7.tar.gz |
Slave2 | CentOS7 | 192.168.187.78:6375 | redis-5.0.7.tar.gz |
Slave3 | CentOS7 | 192.168.187.98:6376 | redis-5.0.7.tar.gz |
(1)创建并复制相关文件