《Redis设计与实现》笔记

1、 SDS

  • 常数复杂度获取字符串长度

  • 记录自身长度,避免缓冲区溢出

  • 减少修改字符串时带来的内存重分配次数:空间预分配,惰性空间释放

  • 二进制安全

    只关心二进制化的字符串,不关心具体格式,只会严格的按照二进制的数据存取,不会妄图以某种特殊格式解析数据。

  • 兼容部分 C 字符串函数

2、跳表

组成:zskiplist、zskiplistNode

复杂度:Olg(N)、最坏O(N)

有序集合键的底层实现之一、集群。

前进指针:遍历

跨度:计算排位 (Rank),在查找某个节点的过程中,将沿途访问过的所有层的跨度累加起来,得到的结果就是目标节点在跳跃表中的排位。

每个节点的层数是 1~32之间的随机数

同一跳跃表中,多个节点可以包含相同的分值,但每个节点的成员对象必须是唯一的

跳跃表中的节点按照分值大小进行排序,当分值相同时,节点按照成员对象的大小进行排序

3、字典

链地址法解决键冲突

渐进式 hash: h[0]、h[1]

4、垃圾回收

引用计数

对象共享:共享值为 0~9999的字符串对象

5、过期键删除策略

  • 定时删除:存在大量待删除过期键时占用较多CPU时间,影响服务器的响应时间和吞吐量

Redis 采用策略

  • 惰性删除:读写指令前执行 expireIfNeeded 函数检查键是否过期

    过期键如果不被删除,则占用内存不释放。浪费内存,有内存泄漏风险 。

  • 定期删除:expires 字典中随机检查一部分键的过期时间,并删除过期键。

主服务器删除一个过期键后,向从服务器发送 DEL 指令,显式地删除过期键,从服务器不会主动删除过期键,需要等待主节点发送 DEL 命令,保证数据的一致性

6、 数据库

由 dict 和 expires 组成,dict 字典负责保存键值对,expires 字典保存键的过期时间

所有数据库保存在 redisServer.db 中,数据库数量由redisServer.dbnum 保存

客户端通过修改目标数据库指针,让它指向 redisServer.db 数组中的不同元素来切换不同数据库。

7、RDB

保存所有键值对数据,压缩二进制文件

SAVE 阻塞主进程,BGSAVE fork 子进程负责创建 rdb 文件,不阻塞。

8、AOF

保存所有写命令。BGREWRITEAOF 重写 AOF 文件,减小 AOF 文件大小 。

子进程执行重写

父进程可以继续处理命令请求

子进程带有服务器进程的数据副本,使用子进程而不是线程,可以避免在使用锁的情况下,保证数据的安全性。

子进程完成 AOF 重写后,向父进程发送信号,父进程调用信号处理函数(阻塞)并执行以下工作:

  • 将 AOF 重写缓冲区中的所有内容写入到新的 AOF 文件,对新的 AOF 文件进行改名,原子地覆盖现有的 AOF 文件,

  • 完成新旧两个 AOF 文件的替换。

数据一致性

执行 BGREWRITEAOF 时,Redis 服务器维护一个 AOF 重写缓冲区,该缓冲区会在子进程创建新 AOF 文件期间,

记录服务器执行的所有写命令。当子进程完成创建新的 AOF 文件工作之后,服务器会将重写缓冲区的所有内容追加到新 AOF 文件的末尾,使得新旧两个 AOF 文件所保存的数据库状态一致。最后,服务器用新的 AOF 文件替换旧的 AOF 文件 ,以此来完成 AOF 文件的重写。

客户端(发送命令) > 命令处理器 (追加命令)> AOF 缓冲区 、AOF 重写缓冲区

9、事件

  • 文件事件

    处理并发:I/O 多路复用程序将所有产生事件的套接字放到一个队列里。

  • 时间事件(存放在链表中, 属性:id、when、timeProc(函数) )

定时事件:让程序在指定的时间之后执行一次

周期事件:让程序每隔指定时间执行一次

10、客户端

服务器端维护 clients 链表保存所有客户端的状态

11、同步

PSYNC 命令(新),完整重同步(初次复制)、部分重同步(断线后重复制)

部分重同步三要素

复制偏移量

复制积压缓冲区(replication backlog):如果 offset 偏移量之后的数据仍在 replication backlog 中,执行部分重同步;否则执行完整重同步。

服务器 run ID:若断线恢复,主服务器 run ID 不变,执行部分重同步;否则执行完整重同步。

12、 Sentinel

两个与主服务器的异步网络连接

  • 命令连接,用于向主服务器发送命令,并接收回复

  • 订阅连接,订阅主服务器的 Sentinel:hello 频道

每 10s 向主服务器发送 INFO 命令,获取服务器信息

主观下线 (SRI_S_DOWN,在 down-after-milliseconds 时间内,连续向Sentinel返回无效回复)-> 客观下线(足够多主观下线投票)

min-salves-to-write 1:至少向一个 slave 节点写数据,避免 master 网络隔离后继续写数据,造成数据不一致。

13、Cluster

16384 个槽、Gossip 协议

单个 master (无 slave)挂掉,则整个集群挂掉,可设置 cluster-require-full-coverage no 解决

bgsave 打开,多个实例同时 fork ,响应时间增大(关闭 bgsave,开 aof)

依赖客户端成熟度(智能客户端)

失效检测:

ping -> PFAIL -> FAIL

14、事务

将多个命令请求打包(队列),一次性、按顺序执行多个命令。

单线程串行执行事务,保证隔离性。

15、SORT 实现

根据数据项的 u.score 排序

(来源:B站团队分享 http://xargin.com/weekend/)

单线程 mgetall,或者 hgetall 的时候会阻塞后续的调用

解决:redis 只拿来操作一些复杂的数据结构,比如 sorted set 之类的数据,可以拿来用 score 做排序,用吞吐量更好的多线程 memcached 来做 kv 缓存。

zadd的时候key已经过期了,导致一些看起来匪夷所思的bug之类的

解决:用expire then zadd的方式巧妙地解决了这些问题。
文章同步公众号:wuqxuan

你可能感兴趣的:(《Redis设计与实现》笔记)