redis之主从复制和哨兵模式

(一)redis的性能管理

1、redis的数据缓存在内存中

2、查看redis的性能:info memory(重点)

used_memory:904192(单位字节)

redis中数据占用的内存

used_memory_rss:10522624

redis向操作系统申请的内存

used_memory_peak:904192

redis使用内存的峰值

3、生产中的日常系统巡检:硬件巡检、数据库、nginx、redis、docker、k8s

4、redis的内存碎片率:used_memory_rss/used_memory(重点)

(1)内存碎片率:系统已经分配给了redis,但是redis未有效利用的内存
(2)查看内存碎片率:redis-cli info memory | grep ratio

redis之主从复制和哨兵模式_第1张图片

allocator_frag_ratio:1.27

分配器碎片的比例,redis主进程调度时产生的内存,比例越小越好,值越高说明碎片越多,内存的浪费越多

allocator_rss_ratio:5.24

分配器占用物理内存的比例,也就是主进程调度执行时占用了多少物理内存

rss_overhead_ratio:1.17

RSS是向系统申请的内存空间,表示redis占用物理空间额外的开销比例,比例越低越好,表示redis实际占用的物理内存和向系统申请的内存越接近,额外的开销就越低

mem_fragmentation_ratio:12.49

内存碎片的比例,比例越低越好,表示内存的使用率越高

(3)清理碎片
①自动清理(修改配置文件)——设置redis的最大内存阀值

redis之主从复制和哨兵模式_第2张图片

设置redis的最大内存阀值:一旦到达阀值,自动清理碎片,开启key的回收机制

生产中一定要给redis设置阀值,不设置最大阀值,内存会直接爆满——重点

key回收的策略(重点)

maxmemory-policy volatile-lru

使用redis内置的LRU算法,把已经设置了过期时间的键值对进行淘汰数据,移除最近最少使用的键值对(针对已经设置了过期时间的键值对)

maxmemory-policy volatile-ttl

已经设置了过期时间的键值对,从当中挑选一个即将过期的键值对(针对已经设置过期时间的键值对)

maxmemory-policy volatile-random

从已经设置了过期时间的键值对当中,挑选数据随机的淘汰键值对(对设置了过期时间的键值对进行随机移除)

allkeys-lru

LRU算法当中,对所有的键值对进行淘汰,移除最少使用的键值对(针对所有的键值对)

allkeys-random

所有键值对当中任意选择数据进行淘汰

maxmemory-policy noeviction

禁止键值对回收(不删除任何键值对,直到redis把内存塞满,写不了报错为止)

②手动清理:redis-cli memory purge

redis之主从复制和哨兵模式_第3张图片

(4)redis占用内存的效率问题如何解决?
①日常巡检中,对redis的占用情况进行监控
②设置redis占用系统内存的阀值,避免占用系统全部内存
③内存碎片清理(手动、自动)
④配置适合的key回收机制

5、redis雪崩(少见)

(1)redis雪崩:缓存雪崩,是指大量的应用请求无法在redis缓存中处理,请求会全部发送到后台数据库,数据库的压力会激增,数据库并发能力本身就很差,一旦高并发,数据库会很快崩溃
(2)雪崩产生的原因:
①redis集群大面积故障
②redis缓存中,大量数据同时过期,大量的请求无法得到处理
③redis实例宕机
(3)解决方案
①事前:高可用架构,防止整个缓存故障,主从复制、哨兵模式和redis集群
②事中:在国内的通用方式:HySTRIX,熔断、降级、限流三个手段来降低雪崩发生之后的损失,数据库不死即可,可以慢,但是不能没有响应(开发做)
③事后:redis备份,快速缓存预热(开发做)

6、redis的缓存击穿(常见)

(1)原因:热点数据缓存过期或者被删除,多个请求并发访问热点数据,请求转发到后台
数据库,导致数据库的性能快速下降
(2)键值对还在,但值被替换,原有的请求找不到之后,同样请求后台数据库
*经常被请求的缓存数据,最好设置为永不过期

7、redis的缓存穿透(少见)

(1)缓存穿透:缓存中没有数据,数据库中也没有对应的数据,但是有用户一直发起这个都没有的请求,而且请求的数据格式很大,黑客在利用漏洞攻击,压垮应用数据库

(九)redis的集群架构(高可用)

1、高可用方案:主从复制、哨兵模式、集群

(十)redis之主从复制

1、主从复制

(1)是redis实现高可用的基础,哨兵模式和集群都是在主从复制的基础上实现高可用
(2)实现数据的多机备份,以及读写分离(主服务器负责写,从服务器只能读,设置了从默认是只读模式)
(3)缺点:故障无法恢复,需要人工干预,写操作无法实现负载均衡
(4)主从复制需要至少3个节点

2、主从复制的工作原理

(1)主节点(master)、从节点(slave),数据的复制是单向的,只能从主节点到从节点

3、主从复制的工作机制

redis之主从复制和哨兵模式_第4张图片

4、主从复制的架构
(1)20.0.0.41:master
(2)20.0.0.42:slave1
(3)20.0.0.43:slave3

5、实验过程

(1)配置主节点

redis之主从复制和哨兵模式_第5张图片

(2)配置从服务器

redis之主从复制和哨兵模式_第6张图片

redis之主从复制和哨兵模式_第7张图片

(3)测试

redis之主从复制和哨兵模式_第8张图片

redis之主从复制和哨兵模式_第9张图片

(二)哨兵模式(先有主从、再有哨兵)

1、哨兵模式

(1)在主从复制的基础上,实现主节点故障的自动切换

2、哨兵模式的原理

(1)哨兵:分布式系统,部署在每一个redis节点上,用于在主从结构之间,对每台redis的服务进行监控
(2)主节点出现故障时,从节点通过投票的方式选择一个新的master
(3)哨兵模式需要至少3个节点

3、哨兵模式的结构

(1)哨兵节点:监控节点,不存储数据
(2)数据节点:主节点和从节点

4、哨兵模式的工作机制

(1)哨兵模式的原理:每一个哨兵节点每隔一秒,通过ping命令方式,检测主、从之间的心跳线。主节点在一定时间内没有回复或者回复了错误的消息,这个时候,哨兵就会主观的认为主节点下线了,超过半数的哨兵节点认为主节点下线了,这个时候才会认为主节点是客观下线
(2)哨兵节点通过raft算法(选举算法),每个节点共同投票选举出一个新的master,然后新的master实现主节点转移和故障恢复通知
(3)主节点的选举过程
①已经下线的从节点不会被选为主节点
②选择配置文件当中,从节点优先级最高的replica-priority 100
③选择一个复制数据最完整的从节点

redis之主从复制和哨兵模式_第10张图片

5、实验过程

(1)配置主节点

redis之主从复制和哨兵模式_第11张图片

redis之主从复制和哨兵模式_第12张图片

(2)配置从服务器

redis之主从复制和哨兵模式_第13张图片

redis之主从复制和哨兵模式_第14张图片

redis之主从复制和哨兵模式_第15张图片

redis之主从复制和哨兵模式_第16张图片

起服务:先起master,再起slave:redis-sentinel sentinel.conf &

(3)监控哨兵集群的信息

redis之主从复制和哨兵模式_第17张图片

redis之主从复制和哨兵模式_第18张图片

(4)故障切换(有延迟)

redis之主从复制和哨兵模式_第19张图片

redis之主从复制和哨兵模式_第20张图片

redis之主从复制和哨兵模式_第21张图片

(5)故障恢复

redis之主从复制和哨兵模式_第22张图片

redis之主从复制和哨兵模式_第23张图片

redis之主从复制和哨兵模式_第24张图片

你可能感兴趣的:(redis,java,spring)