Redis主从复制哨兵及集群

目录

一.主从复制

主从复制的工作原理如下:

主从复制的作用:

搭建Redis 主从复制

每台服务器配置:

​编辑进行编译安装:

定义systemd服务管理脚本:

开启服务,报错看下内容:

修改 Redis 配置文件(Master节点操作):

修改 Redis 配置文件(Slave节点操作):

192.168.233.30(从)与192.168.233.20(从)配置一样.

验证主从效果:

二.Redis 哨兵模式

哨兵模式的作用:

哨兵结构由两部分组成:

主节点的选举:

哨兵模式工作过程:

哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式。

搭建Redis 哨兵模式(端口号26379):

修改 Redis 哨兵模式的配置文件(所有节点操作):

修改文件:

启动哨兵模式:先启主,再启从

查看哨兵信息:

故障模拟:

将配置文件远程复制到从节点上:

Redis集群模式:

Redis集群的工作原理:

Redis集群的数据分片:

Redis集群的主从复制模型:

在哨兵的基础上继续配置集群模式:

在根目录下创建集群目录及端口号目录:​编辑

修改6001的配置文件:

启动集群:


目录

一.主从复制

主从复制的工作原理如下:

主从复制的作用:

搭建Redis 主从复制

每台服务器配置:

​编辑进行编译安装:

定义systemd服务管理脚本:

开启服务,报错看下内容:

修改 Redis 配置文件(Master节点操作):

修改 Redis 配置文件(Slave节点操作):

192.168.233.30(从)与192.168.233.20(从)配置一样.

验证主从效果:

二.Redis 哨兵模式

哨兵模式的作用:

哨兵结构由两部分组成:

主节点的选举:

哨兵模式工作过程:

哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式。

搭建Redis 哨兵模式(端口号26379):

修改 Redis 哨兵模式的配置文件(所有节点操作):

修改文件:

启动哨兵模式:先启主,再启从

查看哨兵信息:

故障模拟:

将配置文件远程复制到从节点上:

Redis集群模式:

Redis集群的工作原理:

Redis集群的数据分片:

Redis集群的主从复制模型:

在哨兵的基础上继续配置集群模式:

在根目录下创建集群目录及端口号目录:​编辑

修改6001的配置文件:

启动集群:

Cluster 集群增加节点动态扩容:

登录redis6001:

将6007的id跟6008做主从:

登录6007redis:


一.主从复制

Redis主从复制是一种用于数据备份、灾难恢复和读写分离的技术,它通过将一个Redis服务器(主节点)的数据复制到其他服务器(从节点)来实现。

主从复制的工作原理如下:

1.首次同步:当从节点要进行主从复制时,它会发送一个SYNC命令给主节点。主节点收到SYNC命令后,会执行BGSAVE命令来生成RDB快照文件,并在生成期间使用缓冲区记录所有写操作。

2.快照传输:当主节点完成BGSAVE命令并且快照文件准备好后,将快照文件传输给从节点。主节点将快照文件发送给从节点,并且在发送过程中,主节点会继续将新的写操作缓冲到内存中。

3.追赶复制:当从节点收到快照文件后,会加载快照文件并应用到自己的数据集中。一旦快照文件被加载,从节点会向主节点发送一个PSYNC命令,以便获取缓冲区中未发送的写操作

4.增量复制:主节点收到PSYNC命令后,会将缓冲区中未发送的写操作发送给从节点,从节点会执行这些写操作,保证与主节点的数据一致性。此时,从节点已经追赶上了主节点的状态

5.同步:从节点会继续监听主节点的命令,并及时执行主节点的写操作,以保持与主节点的数据同步。主节点会定期将自己的操作发送给从节点,以便从节点保持最新的数据状态.
注意:当slave首次同步或者宕机后恢复时,会全盘加载,以追赶上大部队,即全量复制

主从复制的作用:

数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。

负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务,分担服务器负载

高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。

搭建Redis 主从复制

准备三台服务器,192.168.233.10(主);192.168.233.20(从);192.168.233.30(从)

每台服务器配置:

修改添加内核参数:

查看刷新一下:

安装环境:

压缩解压redis软件包:

进行编译安装:

创建redis工作目录:

复制配置文件:

创建用户:

给redis目录授权:

添加 环境变量:

定义systemd服务管理脚本:

[Unit]
Description=Redis Server
After=network.target

[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target

Redis主从复制哨兵及集群_第1张图片

开启服务,报错看下内容:

文件授权要都是redis:

Redis主从复制哨兵及集群_第2张图片

Redis主从复制哨兵及集群_第3张图片

修改 Redis 配置文件(Master节点操作):

192.168.233.20(从)192.168.233.30(从):

pid和log日志文件位置:

Redis主从复制哨兵及集群_第4张图片

修改 Redis 配置文件(Slave节点操作):

Redis主从复制哨兵及集群_第5张图片

Redis主从复制哨兵及集群_第6张图片

192.168.233.30(从)与192.168.233.20(从)配置一样.

重启服务:

验证主从效果:

在Master节点上看日志:

看到了从服务器的ip对接成功

在Master节点上验证从节点:

主服务添加键:

Redis主从复制哨兵及集群_第7张图片

从服务查看:

Redis主从复制哨兵及集群_第8张图片

Redis主从复制哨兵及集群_第9张图片

主从复制成功。

二.Redis 哨兵模式

哨兵模式的作用:

监控:哨兵会不断地检查主节点和从节点是否运作正常。

自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其它从节点改为复制新的主节点。

通知(提醒):哨兵可以将故障转移的结果发送给客户端。

哨兵结构由两部分组成:

哨兵节点:哨兵系统由一个或多个哨兵节点组成,不存储数据

数据节点:主节点和从节点都是数据节点

主节点的选举:

1.过滤掉不健康的(已下线的),没有回复哨兵 ping 响应的从节点
2.选择配置文件中从节点优先级配置最高的。(replica-priority,默认值为100)
3.选择复制偏移量最大,也就是复制最完整的从节点

哨兵模式工作过程:

1,哨兵系统需要>=3台的哨兵节点组成,一主多从做主从复制

2,哨兵节点定时探测主节点,从节点和其他哨兵节点的运行状态

3,当哨兵节点探测到主节点异常,则认为主节点主观下线

4, 当超过指定数量的哨兵节点认为主节点主观下线,则认定主节点客观下线

5,哨兵节点会通过raft算法选举出leader,再由leader负责故障转移和通知

6,将一个从节点提升为新的主节点,让其它从节点指向新的主节点做主从复制

7,写VIP也会漂移到新的主节点上

8,原主节点恢复后也会自动变成从节点指向新的主节点做主从复制

哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式。
搭建Redis 哨兵模式(端口号26379):

在主从复制的基础上继续进行哨兵模式的搭建。

修改 Redis 哨兵模式的配置文件(所有节点操作):

主:

从:

授权文件:

主:

Redis主从复制哨兵及集群_第10张图片

从:

Redis主从复制哨兵及集群_第11张图片

Redis主从复制哨兵及集群_第12张图片

修改文件:

Redis主从复制哨兵及集群_第13张图片

Redis主从复制哨兵及集群_第14张图片

启动哨兵模式:先启主,再启从

主:

从:

Redis主从复制哨兵及集群_第15张图片

查看哨兵信息:

Redis主从复制哨兵及集群_第16张图片

故障模拟:

先给主添加vip:

Redis主从复制哨兵及集群_第17张图片

添加脚本,进行监控:

#!/bin/bash
NEW_MASTERIP=$6
OLD_MASTERIP="$(ifconfig ens33| awk'NR==2{print $2}')"
VIP="192.168.233.100"

if [ "$NEW_MASTERIP"="$OLD_MASTERIP" ]; then
  ifconfig ens33:1 ${VIP}/24
   exit 0
else
ifconfig ens33:1 down
exit 0
fi

exit 1

Redis主从复制哨兵及集群_第18张图片

Redis主从复制哨兵及集群_第19张图片

给脚本授权:

Redis主从复制哨兵及集群_第20张图片

Redis主从复制哨兵及集群_第21张图片

执行脚本:

Redis主从复制哨兵及集群_第22张图片

修改主服务器文件:

将配置文件远程复制到从节点上:

Redis主从复制哨兵及集群_第23张图片

Redis主从复制哨兵及集群_第24张图片

Redis主从复制哨兵及集群_第25张图片

给从服务器文件授权:

Redis主从复制哨兵及集群_第26张图片

Redis主从复制哨兵及集群_第27张图片

给所有服务器进行操作:

查看主服务的log文件:

Redis主从复制哨兵及集群_第28张图片

关闭主服务器:

查看日志文件:

Redis主从复制哨兵及集群_第29张图片

看下192.168.233.30从服务器:有vip

Redis主从复制哨兵及集群_第30张图片

Redis主从复制哨兵及集群_第31张图片

看下从节点192.168.233.20的信息状态:

Redis主从复制哨兵及集群_第32张图片

当我们旧主192.168.233.10恢复正常后,查看信息:

Redis主从复制哨兵及集群_第33张图片

Redis主从复制哨兵及集群_第34张图片

Redis集群模式:

集群模式的端口号为:16379

Redis集群的工作原理:

1、集群有多组节点,每组节点负责一部分哈希槽。
2、读写数据时,先根据crc16的算法得出一个结果,然后把结果对 16384 取余。通过这个值去找到对应的哈希槽的节点,进行数据读写。
3、集群每组节点内做主从复制,当主节点宕机的时候,就会启用从节点。主节点负责读写请求和集群信息的维护;从节点负责主节点数据和状态信息的复制。

Redis集群的数据分片:

Redis集群引入了哈希槽的概念
Redis集群有16384个哈希槽(编号0-16383)
集群的每组节点负责一部分哈希槽

以3个节点组成的集群为例:

节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽

Redis集群的主从复制模型:

集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用。

在哨兵的基础上继续配置集群模式:

redis的集群一般需要6个节点,3主3从。方便起见,这里所有节点在同一台服务器上模拟:

以端口号进行区分:3个主节点端口号6001/6002/6003,对应的从节点端口号6004/6005/6006。

在根目录下创建集群目录及端口号目录:

Redis主从复制哨兵及集群_第35张图片

将初始配置文件,客户端命令及redis服务命令复制到这几个目录下:

我们可以使用for循环来一次性复制过去:

for i in {6001..6006}
> do
> cp redis.conf src/redis-server src/redis-cli
redis-cli    redis-cli.c  redis-cli.d  redis-cli.o  
> cp redis.conf src/redis-server src/redis-cli /usr/local/redis/redis-cluster/redis$i
> done

Redis主从复制哨兵及集群_第36张图片

我们看下集群目录下文件:

Redis主从复制哨兵及集群_第37张图片

Redis主从复制哨兵及集群_第38张图片

Redis主从复制哨兵及集群_第39张图片

修改6001的配置文件:

Redis主从复制哨兵及集群_第40张图片

Redis主从复制哨兵及集群_第41张图片

Redis主从复制哨兵及集群_第42张图片

Redis主从复制哨兵及集群_第43张图片

Redis主从复制哨兵及集群_第44张图片

Redis主从复制哨兵及集群_第45张图片

通过for循环将配置文件复制到其他端口上:

通过for循环在将文件中的0661改为各自端口号一样的配置:

看下配置文件:

Redis主从复制哨兵及集群_第46张图片Redis主从复制哨兵及集群_第47张图片

Redis主从复制哨兵及集群_第48张图片

通过for循环开启每个端口服务:

Redis主从复制哨兵及集群_第49张图片

启动集群:

Redis主从复制哨兵及集群_第50张图片

Redis主从复制哨兵及集群_第51张图片

Redis主从复制哨兵及集群_第52张图片

在6001添加键:会跳转到6002下

Redis主从复制哨兵及集群_第53张图片

在进入6001查看键:不存在

Redis主从复制哨兵及集群_第54张图片

跳转到6002的从节点下6005看:

Redis主从复制哨兵及集群_第55张图片

查看键内容,会跳转到主节点上:

Redis主从复制哨兵及集群_第56张图片

Cluster 集群增加节点动态扩容:

增加一主一从节点,将已有目录6001下的文件到新创建的目录下面:

Redis主从复制哨兵及集群_第57张图片

删除不要的文件:

Redis主从复制哨兵及集群_第58张图片

Redis主从复制哨兵及集群_第59张图片

将配置文件修改下端口号:

开启服务:

Redis主从复制哨兵及集群_第60张图片

Redis主从复制哨兵及集群_第61张图片

登录redis6001:

Redis主从复制哨兵及集群_第62张图片

Redis主从复制哨兵及集群_第63张图片

登录redis6008:

Redis主从复制哨兵及集群_第64张图片

将6007的id跟6008做主从:

Redis主从复制哨兵及集群_第65张图片

给6007新加入的主节点是没有槽数的,只有初始化集群的时候,才会根据主的数据分配好,如新增的主节点,需要手动分配:

Redis主从复制哨兵及集群_第66张图片

Redis主从复制哨兵及集群_第67张图片

yH5BAAAAAAALAAAAAAOAA4AAAIMhI+py+0Po5y02qsKADs=wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

登录6007redis:

Redis主从复制哨兵及集群_第68张图片

完成扩容。

                                                                                                                                                                                                 

你可能感兴趣的:(redis,数据库,缓存)