1. 针对热点数据进行缓存
2. 对于特定限时数据的存放
3. 针对带热点权值数据的排序 list
4. 分布式锁
3 redis与memcache的区别
4 简述缓存穿透
缓存穿透是指缓存和数据库中都没有的数据,导致所有的请求都落到数据库上,造成数据库短时间内承受大量请求而崩掉。
5 简述缓存穿透的解决方法
1. 在数据库操作访问前进行校验,对不合法请求直接返回。
2. 从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value键值 对写为 key-null。
3. 采用布隆过滤器,将所有可能存在的数据哈希到一个足够大的 bitmap 中,一个一定不存在的数据会被这个 bitmap 拦截掉,从而避免了对底层存储系统的查询压力。
6 简述缓存击穿
缓存击穿指缓存中没有数据,但数据库中有该数据。一般这种情况指特定数据的缓存时间到期,但由于并发用户访问该数据特别多,因此去数据库去取数据,引起数据库访问压力过大。
7 简述缓存击穿的解决方法
1. 设置热点数据永远不过期。
2. 对并发读数据设置并发锁,降低并发性
8 简述缓存雪崩
缓存雪崩指缓存中一大批数据到过期时间,而从缓存中删除。但该批数据查询数据量巨大,查询全部走数据库,造成数据库压力过大。
9 简述缓存雪崩的解决方法
1. 缓存数据设置随机过期时间,防止同一时间大量数据过期。
2. 设置热点数据永远不过期。
3. 对于集群部署的情况,将热点数据均匀分布在不同缓存中。
10 缓存预热
系统上线后,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!
11 缓存降级
当访问量剧增、服务出现问题(比如响应时间慢或者不响应)或者非核心服务影响到核心流程的性能时,即使是有损部分其他服务,仍然需要保证主服务可用,可以将其他次要访问的数据进行缓存降级,从而提升主服务的稳定性。
12 热点数据和冷数据
热点数据:那些大量被访问的数据,缓存热点数据才有价值。
冷数据:那些可能还没有被再次访问就被踢出内存的数据,不仅占用内存,而且价值不大。
13 缓存热点key
缓存中的一个 Key( 比如一个促销商品 ) ,在某个时间点过期的时候,恰好在这个时间点对这个 Key 有大量的并发请求过来,这些请求发现缓存过期,一般都会从后端 DB 加载数据并回
设到缓存,这个时候大量并发的请求可能会瞬间把后端 DB 压垮。
解决方案:对缓存查询加锁,如果 KEY 不存在,就加锁,然后查 DB 入缓存,然后解锁;其
他进程如果发现有锁就等待,然后等解锁后返回数据或者进入DB查询。
14 Redis有哪些集群部署方式
1. 主从复制:
在主从复制中,有主库(Master)节点和从库( Slave )节点两个角色。 从节点服务启动会连接主库,并向主库发送SYNC 命令。 主节点收到同步命令,启动持久化工作,工作执行完成后,主节点将传送整个数据库文件到从库,从节点接收到数据库文件数据之后将数据进行加载。此后,主节点继续将所有已经收集到的修改命令,和新的修改命令依次传送给从节点,从节点依次执行,从而达到最终的数据同步。通过这种方式,可以使写操作作用于主库,而读操作作用于从库,从而达到读写分离。
2. 哨兵模式:
sentinel ,中文名是哨兵。哨兵是 redis 集群机构中非常重要的一个组件,主要有以下功能:
集群监控:负责监控 redis master 和 slave 进程是否正常工作。
消息通知:如果某个 redis 实例有故障,那么哨兵负责发送消息作为报警通知给管理员。
故障转移:如果 master node 挂掉了,会自动转移到 slave node 上。
配置中心:如果故障转移发生了,通知 client 客户端新的 master 地址。
哨兵用于实现 redis 集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作。 故障转移时,判断一个 master node 是否宕机了,需要大部分的哨兵都同意才行,涉及到了分布式选举的问题。 即使部分哨兵节点挂掉了,哨兵集群还是能正常工作的。 哨兵至少需要 3 个实例,来保证自己的健壮性。 哨兵 + redis 主从的部署架构,是不保证数据零丢失的,只能保证 redis 集群的高可用性。 对于哨兵 + redis 主从这种复杂的部署架构,尽量在测试环境和生产环境,都进行充足的测试和演练。
3. Cluster集群模式:( 服务端路由查询)
cluster提出了虚拟槽的概念。
1. redis cluster默认有 16384个槽,在集群搭建的时候,需要给节点分配哈希槽尽可能相同数量虚拟槽。
2. 如果目前 redis 执行 set 操作, redis 先对这个 key 经过 CRC16 hash 运算,并把结果对 16384 取余,得到槽编号。
3. 根据槽编号,寻找到其对应的 redis 节点,在节点上执行 hash 命令。
4. 如果此时执行 get 操作,节点先验证该 key 对应的槽编号是不是归本节点管,如果是则保存数据。如果不是,则发送正确节点编号给客户端。
15 简述Redis的RDB
RDB :将当前数据生成快照,并保存于硬盘中。可以通过手动命令,也可以设置自动触发。
16 简述Redis的save命令
save 命令是 redis 手动触发 RDB 过程的命令。使用该命令后,服务器阻塞,直到 RDB 过程完成后终止。 该过程占用内存较多。
17 简述Redis的bgsave命令
bgsave 命令不阻塞主进程(严格意义上也不是完全不阻塞,详看下面过程),该命令 fork 一个子进程用于执行RDB 过程。其具体过程为:
1. 判断此时有没有子进程用于 RDB ,有的话直接返回。
2. redis进行 fork 子进程过程,此时父进程处于阻塞状态。
3. 子进程创建 RDB 文件,完成后返回给父进程
18 简述Redis自动触发RDB机制
1. 通过配置文件,设置一定时间后自动执行 RDB
2. 如采用主从复制过程,会自动执行 RDB
3. Redis执行 shutdown 时,在未开启 AOF 后会执行 RDB
19 简述Redis的AOF
AOF: 通过日志,对数据的写入修改操作进行记录。这种持久化方式实时性更好。通过配置文件打开AOF。
20 简述AOF的持久化策略
1. always。每执行一次数据修改命令就将其命令写入到磁盘日志文件上。
2. everysec。每秒将命令写入到磁盘日志文件上。
3. no。不主动设置,由操作系统决定什么时候写入到磁盘日志文件上。
21 简述AOF的重写
随着客户端不断进行操作, AOF 对应的文件也越来越大。 redis 提供了 bgrewriteaof 函数,针对目前数据库中数据,在不读取原有AOF 文件的基础上,重写了一个新的 AOF 文件,减少文件大小。
22 RDB与AOF优缺点比较
AOF 占用的文件体积比 RDB 大。一般来说利用 AOF 备份对系统的消耗比 RDB 低。对于备份时出现系统故障,RDB 数据可能会全丢,但 AOF 只会损失一部分。RDB恢复速度比 AOF 低。
23 简述Redis淘汰机制
Redis 的内存淘汰策略是指在 Redis 的用于缓存的内存不足时,怎么处理需要新写入且需要申请额外空间的数据。
1. noeviction:默认禁止驱逐数据。内存不够使用时,对申请内存的命令报错。
2. volatile-lru:从设置了过期时间的数据集中淘汰最近没使用的数据。
3. volatile-ttl:从设置了过期时间的数据集中淘汰即将要过期的数据。
4. volatile-random:从设置了过期时间的数据中随机淘汰数据。
5. allkeys-lru:淘汰最近没使用的数据。
6. allkeys-random:随机淘汰数据。
Redis的内存淘汰策略的选取并不会影响过期的 key 的处理。内存淘汰策略用于处理内存不足时的需要申请额外空间的数据;过期策略用于处理过期的缓存数据。
24 MySQL与Redis区别
mysql 是关系型数据库,并且其将数据存储在硬盘中,读取速度较慢。
redis 是非关系型数据库,并且其将数据存储在内存中,读取速度较快。
25 简述Redis过期策略
1. 定期删除, redis 默认是每 100ms 就随机抽取一些设置了过期时间的 key ,并检查其是否过期,如果过期就删除。因此该删除策略并不会删除所有的过期key 。
2. 惰性删除,在客户端需要获取某个 key 时, redis 将首先进行检查,若该 key 设置了过期时间并已经过期就会删除。该策略可以很大程度节省CPU资源,却对内存很不友好,极端情况可能造成大量过期的Key没有被再次访问而占用大量内存。
实际上 redis 结合上述两种手段结合起来,保证删除过期的 key 。
26 Redis快的原因
1. redis是基于内存的数据库,内存数据读取存储效率远高于硬盘型。
2. redis采用多路复用技术通过采用 epoll 的非阻塞 IO ,提升了效率。
27 Redis key的过期时间和永久有效分别怎么设置
设置过期时间: Expire
设置永久有效:Persist
28 Redis如何做内存优化
利用 Hash,list,sorted set,set等集合类型数据, 因为通常情况下很多小的 Key-Value 可以用更紧凑的方式存放到一起。尽可能使用散列表 ( hashes),散列表(是说散列表里面存储的数少)使用的内存非常小, 尽可能的将数据模型抽象到一个散列表里面。比如你的 web 系统中有一个用户对象,不 要为这个用户的名称,姓氏,邮箱,密码设置单独的 key ,而是应该把这个用户的所有信息存储到一张散列表里面线程模型。
29 简述Redis线程模型
Redis 基于 Reactor 模式开发了网络事件处理器,这个处理器被称为文件事件处理器(file event handler )。它的组成结构为 4 部分:多个套接字、 IO 多路复用程序、文件事件分派器、事件处理器。因为文件事件分派器队列的消费是单线程的,所以 Redis才叫单线程模型。文件事件处理器使用 I/O 多路复用( multiplexing)程序来同时监听多个套接字, 并根据套接字目前执行的任务来为套接字关联不同的事件处理器。
虽然文件事件处理器以单线程方式运行, 但通过使用 I/O 多路复用程序来监听多个套接字, 文件事件处理器既实现了高性能的网络通信模型, 又可以很好地与 redis 服务器中其他同样以单线程方式运行的模块进行对接, 这保持了Redis 内部单线程设计的简单性。
30 Redis事务的概念
Redis 事务的本质是通过 MULTI 、 EXEC 、 WATCH 等一组命令的集合。事务支持一次执行多个命令,一个事务中所有命令都会被序列化。在事务执行过程,会按照顺序串行化执行队列中的命令,其他客户端提交的命令请求不会插入到事务执行命令序列中。
redis 事务就是一次性、顺序性、排他性的执行一个队列中的一系列命令。
MULTI 命令:用于开启一个事务,它总是返回 OK 。 MULTI 执行之后,客户端可以继续向服务器发送任意多条命令,这些命令不会立即被执行,而是被放到一个队列中,当 EXEC 命 令被调用时,所有队列中的命令才会被执行。
EXEC命令 :执行所有事务块内的命令。返回事务块内所有命令的返回值,按命令执行的先后顺序排列。当操作被打断时,返回空值 null。
DISCARD命令:客户端可以清空事务队列,并放弃执行事务, 并且客户端会从事务状态中退出。
WATCH 命令:是一个乐观锁,可以为 Redis 事务提供 check-and-set ( CAS )行为。 可以监控一个或多个键,一旦其中有一个键被修改(或删除),之后的事务就不会执行,监控一直持续EXEC 命令。
UNWATCH 命令:可以取消 watch 对所有 key 的监控。
31 Redis 事务管理(ACID)概述
原子性(Atomicity ) 原子性是指事务是一个不可分割的工作单位,事务中的操作要么都发生,么都不发生。
一致性(Consistency ) 事务前后数据的完整性必须保持一致。
隔离性(Isolation ) 多个事务并发执行时,一个事务的执行不应影响其他事务的执行。
持久性(Durability ) 持久性是指一个事务一旦被提交,它对数据库中数据的改变就是永久性的,接下来即使数据库发生故障也不应该对其有任何影响。
Redis的事务总是具有 ACID 中的一致性和隔离性,其他特性是不支持的。当服务器运行在 AOF 持久化模式下,并且 appendfsync 选项的值为 always 时,事务也具有耐久性。
32 Redis事务支持隔离性、保证原子性、支持回滚吗
因为 Redis 是单进程程序,并且它保证在执行事务时,不会对事务进行中断,事务可以运行直到执行完所有事务队列中的命令为止。因此, Redis 的事务是总是带有隔离性的。
Redis 中,单条命令是原子性执行的,但事务不保证原子性,且没有回滚。事务中任意命令执行失败,其余的命令仍会被执行。
33 Redis事务其他实现
1. 基于Lua 脚本, Redis 可以保证脚本内的命令一次性、按顺序地执行,其同时也不提供事务运行错误的回滚,执行过程中如果部分命令运行错误,剩下的命令还是会继续运行完。
2. 基于中间标记变量,通过另外的标记变量来标识事务是否执行完成,读取数据时先读取该标记变量判断是否事务执行完成。
但这两种方法需要额外写代码实现,比较繁琐。
34 Redis 主从架构
单机的 redis ,能够承载的 QPS(每秒查询率 ) 大概就在上万到几万不等。对于缓存来说,一般都是用来支撑读高并发的。因此架构做成主从 (master-slave) 架构,一主多从,主负责写,并且将数据复制到其它的 slave 节点,从节点负责读。所有的读请求全部走从节点。这样也可以很轻松实现水平扩容,提高读的吞吐量。
1. 当从库和主库建立 MS 关系后,会向主数据库发送 SYNC 命令
2. 主库接收到 SYNC 命令后会开始在后台保存快照 (RDB 持久化过程 ) ,并将期间接收到的写命令存起来
3. 当快照完成后,主 Redis会将快照文件和所有缓存的写命令发送给从Redis
4. 从 Redis 接收到后,会载入快照文件并且执行收到的缓存的命令
5. 之后,主 Redis 每当接收到写命令时就会将命令发送从 Redis ,从而保证数据的一致
35 Redis集群相关问题
1 . Redis集群会有写操作丢失吗? : Redis 并不能保证数据的强一致性,这意味这在实际中集群在特定的条件下可能会丢失写操作。
2 . Redis集群之间是如何复制的?:异步复制
3. Redis 集群最大节点个数是多少? : 16384 个 (因为 Redis 集群有 16384 个哈希槽, 每个 key 通过 CRC16 校验后对 16384 取模来决定放置哪个槽,集群的每个节点负责至少一个 hash 槽。)
4. Redis集群如何选择数据库?:Redis 集群目前无法做数据库选择,默认在 0 数据库。
36 如何保证缓存与数据库双写时的数据一致性
37 为什么要做Redis分区
Redis分区,简单的说就是将数据分布到不同的redis实例中,因此对于每个redis实例所存储的内容仅仅是所有内容的一个子集。
Redis分区的好处大致有如下两个方面:
- 性能的提升: 将请求分散到多台机器,充分利用多台机器的
计算能力
和网络带宽
,有助于提高Redis总体的服务能力。
- 存储的横向扩展: 随着存储数据的增加,单台机器受限于机器本身的
存储容量
,将数据分散到多台机器上存储,使得Redis服务可以横向扩展。
38 Redis分区实现方案有哪些
- 客户端分区 : 在客户端就已经决定数据会被存储到哪个redis节点或者从哪个redis节点读取。
- 代理分区 : 客户端发送请求到一个代理服务器,代理服务器实现了Redis协议,因此代理服务器可以代理客户端和Redis服务器通信。代理服务器代理客户端,把请求转发到正确的Redis实例中,同时将反馈消息返回给客户端。
- 查询路由 : Redis Cluster集群实现的一种Redis分区方式。你可以将你的查询发送到任何一个Redis实例,实例会将你的查询
重定向
到正确的服务器。(PS:对于一个给定的key,分区的工作就是选择一个正确的Redis实例,那么这个选择的过程可以由客户端、代理 或者 Redis实例来做)。
39 Redis分区缺点
- 多键操作是不被支持的,比如我们将要批量操作的键被映射到了不同的Redis实例中(当两个set映射到不同的redis实例上时,你就不能对这两个set执行交集操作)。
- 多键的Redis事务是不被支持的。
- 分区的最小粒度是键,因此不能将关联到一个键的很大的数据集映射到不同的实例,例如不可能将一个非常巨大的key(比如,一个非常大的sorted set)去切分数据。
- 当使用分区的时候,数据处理会很复杂,比如你需要处理多个rdb/aof文件,并且从多个实例和主机备份持久化文件。
- 增加和删除redis节点变得更复杂。Redis Cluster集群大多数支持在运行时增加、删除节点的透明数据平衡的能力,但是类似于Redis 客户端分区、代理等其他系统则不支持这项特性。然而,一种叫做
presharding
的技术对此是有帮助的。
- 单点故障:当集群中的某一台服务挂掉之后,客户端在根据一致性hash无法从这台服务器取数据。
解决单点故障的方法:
用到Redis主从复制的功能,两台物理主机上分别都运行有Redis-Server,其中一个Redis-Server是另一个的从库,采用双机热备技术
,客户端通过虚拟IP访问主库的物理IP,当主库宕机时,切换到从库的物理IP。只是事后修复主库时,应该将之前的从库改为主库(使用命令slaveof no one),主库变为其从库(使命令slaveof IP PORT),这样才能保证修复期间新增数据的一致性。
40 如何解决 Redis 的并发竞争 Key 问题
所谓 Redis 的并发竞争 Key 的问题也就是多个系统同时对一个 key 进行操作,但是最后执行的顺序和我们期望的顺序不同,这样也就导致了结果的不同!
推荐使用:分布式锁( zookeeper 和 redis 都可以实现分布式锁)。
基于zookeeper 临时有序节点可以实现的分布式锁。大致思想为:每个客户端对某个方法加锁时,在zookeeper 上的与该方法对应的指定节点的目录下,生成一个唯一的瞬时有序节点。 判断是否获
取锁的方式很简单,只需要判断有序节点中序号最小的一个。 当释放锁的时候,只需将这个瞬时节点删除即可。同时,其可以避免服务宕机导致的锁无法释放,而产生的死锁问题。完成业务流程后,删除对应的子节点释放锁。
Redlock:Redis 官方站提出的了一种权威的基于 Redis 实现分布式锁的方式。比原先的单节点的方法更安全。它可以保证以下特性:
1. 安全特性:互斥访问,即永远只有一个 client 能拿到锁;
2. 避免死锁: 最终 client 都可能拿到锁,不会出现死锁的情况;
3. 容错性:只要大部分 Redis 节点存活就可以正常提供服务。
41 分布式Redis是前期做还是后期规模上来了再做好
既然 Redis 是如此的轻量(单实例只使用 1M内存),为防止以后的扩容, 好的办法就是一开始就启动较多实例。
这样的话,当数据不断增长,需要更多的 Redis 服务器时,需要做的就是仅仅将 Redis 实例从一台服务迁移到另外一台服务器而已(而不用考虑重新分区的问题)。一旦你添加了另一台服务器,你需要将你一半的Redis 实例从第一台机器迁移到第二台机器。
42 redis采用多线程会有哪些问题
1 . 单线程的问题
无法发挥多核CPU 性能,单进程单线程只能跑满一个 CPU 核
可以通过在单机开多个Redis 实例来完善
可以通过数据分区来增加吞吐量,问题(不支持批量操作、扩缩容复杂等)
2. 多线程的问题
多线程处理可能涉及到锁
多线程处理会涉及到线程切换而消耗CPU
线程划分
主线程(MAIN THREAD)
IO线程 (IO THREAD)
WORKER线程 (WORKER THREAD)
主线程:接受连接,创建 client ,将连接转发给 IO 线程。
IO 线程:处理连接的读写事件,解析命令,将解析的完整命令转发给 WORKER 线程处理,发送 response 包,负责删除连接等。
WORKER 线程:负责命令的处理,生成客户端回包,定时器事件的执行等。
主线程, IO 线程, WORKER 线程都有单独的事件驱动。
线程之间通过无锁队列交换数据,通过管道进行消息通知。
43 Redis常见性能问题和解决方案
1. Master 最 好不要做任何持久化工作,包括内存快照和 AOF 日志文件,特别是不要启用内存快照做持久化。
2. 如果数据比较关键,某个 Slave 开启 AOF 备份数据,策略为每秒同步一次。
3. 为了主从复制的速度和连接的稳定性, Slave 和 Master 最 好在同一个局域网内。
4. 尽量避免在压力较大的主库上增加从库。
5. Master 调用 BGREWRITEAOF 重写 AOF 文件, AOF 在重写的时候会占大量的 CPU 和内存资源,导致服务 load 过高,出现短暂服务暂停现象。
6. 为了 Master 的稳定性,主从复制不要用图状结构,用单向链表结构更稳定,即主从关系为: Master<–Slave1<–Slave2<–Slave3…,这样的结构也方便解决单点故障问题,即实现Slave 对 Master的替换,Master 挂了,可以立马启用 Slave1 做 Master。
45 Redis 基本命令
字符串类型
散列类型
列表类型
集合类型
有序集合类型