缓存穿透是指查询一个DB中不存在的数据,mysql数据库查询不到也不会直接写入redis缓存,就会导致每次请求该不存在的数据都需要查询数据库,可能导致DB挂掉;
缓存击穿是给某一个key设置过期时间,当key过期的时候,恰好在过期时间点对这个key有大量的并发请求,这些并发的请求可能会瞬间把DB压垮;
实现原理:
实现原理:
缓存雪崩是指在同一时段大量的缓存key同时失效或redis服务宕机,导致大量请求到达数据库查询数据,给数据库带来了极大的压力;
在原有的失效时间基础上添加一个随机值(1~5分钟随机),这样每一个缓存的过期时间的重复率会降低,进而很难引发集体失效的事件;
redis做为缓存,mysql的数据与redis进行同步,采用双写一致性。
双写一致性:当修改了数据库的数据也要同时更新缓存的数据,缓存和数据库的数据要保持一致。
RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照,简单来说就是把内存中的所有数据都记录到磁盘中,当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。
Redis内部有触发RDB的机制,可以在redis.conf文件中找到,格式如下:
# 900秒内,如果至少有1个key被修改,则执行bgsave
save 900 1
save 300 10
save 60 10000
bgsave开始时会fork主进程得到子进程,子进程共享主进程的内存数据。完成fork后读取内存数据并写入RDB文件。
fork采用的时copy-on-write技术:
AOF全称为Append Only File(追加文件)。Redis处理的每一个写命令都会记录在AOF文件,可看做是命令日志文件。
AOF默认是关闭的,需要修改redis.conf配置文件来开启AOF:
# 是否开启AOF功能,默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"
AOF的命令记录的频率也可以通过redis.conf文件来配置:
# 表示每执行一次写命令,立即记录到AOF文件
appendfsync always
# 写命令执行完先放入AOF缓冲区,然后表示每隔1秒将缓冲区数据写到AOF文件,是默认方案
appendfsync everysec
# 写命令执行完先放入AOF缓冲区,由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no
Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置:
# AOF文件比上次文件 增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写
auto-aof-rewrite-min-size 64mb
Redis对数据设置的有效时间,数据过期后,就需要将数据从内存中删除,可按照不同的规则进行删除,称之为数据的删除策略(数据过期策略);
惰性删除:设置该key过期时间后,我们不去管它,当需要该key时,我们在检查其是否过期,如果过期,我们就删掉它,反之返回该key(需要时检查数据是否过期,如果过期,则进行删除);
定期删除:每隔一段时间,我们就对一些key进行检查,删除里面过期的key(从一定数量的数据库中取出一定数量的随机key进行检查,并删除其中的过期key)。
Redis的过期删除策略:惰性删除 + 定期删除两种策略进行配合使用
数据的淘汰策略:当Redis中的内存不够用时,此时在向Redis中添加新的key,那么Redis就会按照某一种规则将内存中的数据删除掉,这种数据的删除规则被称之为内存的淘汰策略。
noeviction: 不淘汰任何key,但是内存满时不允许写入新数据,默认就是这种策略
volatile-ttl: 对设置了TTL(有效时间)的key,比较key的剩余TTL值,TTL越小越先被淘汰
allkeys-random:对全体key ,随机进行淘汰。
volatile-random:对设置了TTL的key ,随机进行淘汰。
allkeys-lru: 对全体key,基于LRU算法进行淘汰
volatile-lru: 对设置了TTL的key,基于LRU算法进行淘汰
allkeys-lfu: 对全体key,基于LFU算法进行淘汰
volatile-lfu: 对设置了TTL的key,基于LFU算法进行淘汰
LRU(Least Recently Used)最近最少使用。用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。例如:key1是在3s之前访问的, key2是在9s之前访问的,删除的就是key2
LFU(Least Frequently Used)最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高。例如:key1最近5s访问了4次, key2最近5s访问了9次, 删除的就是key1
Redis实现分布式锁主要利用Redis的setnx命令,setnx是SET if not exists(如果不存在,则SET)的简写;
# 添加锁,NX是互斥、EX是设置超时时间
SET lock value NX EX 10
# 释放锁,删除即可
DEL key
Redis实现分布式锁如何合理的控制锁的有效时长?
在redisson中需要手动加锁,并且可以控制锁的失效时间和等待时间,当锁住的一个业务还没有执行完成时,在redisson中引入了一个看门狗机制,就是说每隔一段时间就检查当前业务是否还持有锁,如果持有就增加锁的持有时间,当业务执行完成后需要使用释放锁即可;
还有就是在高并发下,一个业务有可能会执行很快,先客户1持有锁时,客户2来了就不会马上拒绝,它会自选不断尝试获取锁,如果客户1释放之后,客户2就可以马上持有锁,性能也得到了提升。
单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离,一般都是一主多从,主节点负责写数据,从节点负责读数据,主节点写入数据之后,需要把数据同步到从节点中;
全量同步是指从节点第一次与主节点建立连接时使用全量同步,流程如下:
增量同步指的是当从节点服务重启之后,数据就不一致了,所以这个时候,从节点会请求主节点同步数据,主节点还是判断不是第一次请求,不是第一次就获取从节点的offset值,然后主节点从命令日志中获取offset值之后的数据,发送给从节点济宁数据同步。
Redis提供了哨兵(Sentinel)机制来实现主从集群的自动故障恢复,哨兵结构和作用:
主从和哨兵可解决高可用,高并发读的问题,但依然有两个问题没有解决:
Redis分片集群引入了哈希槽的概念,Redis集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定防止哪个槽,集群的每个节点负责一部分hash槽;
Redis是纯内存操作,执行速度非常快,它的性能瓶颈是网络延迟,而不是执行速度,I/O多路复用模型主要就是实现了高效的网络请求:
Linux系统中一个进程使用的内存情况划分两个部分:内核空间、用户空间
只能执行受限的命令(Ring3),而且不能直接调用系统资源必须通过内核提供的接口来访问;
可以执行特权命令(Ring0),调用一切系统资源;
Linux系统为了提高IO效率,会在用户空间和内核空间都加入缓冲区;
顾名思义,阻塞IO就是两个阶段都必须阻塞等待:
阶段一:
用户进程尝试读取数据(比如网卡数据)
此时数据尚未到达,内核需要等待数据
此时用户进程也处于阻塞状态
阶段二:
数据到达并拷贝到内核缓冲区,代表已就绪
将内核数据拷贝到用户缓冲区
拷贝过程中,用户进程依然阻塞等待
拷贝完成,用户进程解除阻塞,处理数据
顾名思义,非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程。
阶段一:
1.用户进程尝试读取数据(比如网卡数据)
2.此时数据尚未到达,内核需要等待数据
3.返回异常给用户进程
4.用户进程拿到error后,再次尝试读取
5.循环往复,直到数据就绪
阶段二:
1.将内核数据拷贝到用户缓冲区
2.拷贝过程中,用户进程依然阻塞等待
3.拷贝完成,用户进程解除阻塞,处理数据
4.可以看到,非阻塞IO模型中,用户进程在第一个阶段是非阻塞,第二个阶段是阻塞状态。虽然是5.非阻塞,但性能并没有得到提高。而且忙等机制会导致CPU空转,CPU使用率暴增。
IO多路复用:是利用单个线程来同时监听多个Socket ,并在某个Socket可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源。
阶段一:
1.用户进程调用select,指定要监听的Socket集合
2.内核监听对应的多个socket
3.任意一个或多个socket数据就绪则返回readable
4.此过程中用户进程阻塞
阶段二:
1.用户进程找到就绪的socket
2.依次调用recvfrom读取数据
3.内核将数据拷贝到用户空间
4.用户进程处理数据
Redis通过IO多路复用来提高网络性能,并且支持各种不同的多路复用实现,并且将这些实现进行封装, 提供了统一的高性能事件库