Redis

持久化

  • RDB容易丢失数据,AOF通过合适的fsync策略丢失更少的数据
  • AOF体积大,但是可以自动重写
  • RDB适合数据备份

RDB

  • 把内存里的key-value快照写到磁盘文件里
  • fork一个子进程来生成RDB文件
  • RDB文件是二进制文件
  • 在一定的时间段内执行一定数量的写操作,会触发BGRDB

AOF

  • 将执行过的写操作记录到AOF文件里
  • AOF是一个文本文件
  • 先写缓存,然后同步到AOF文件里。同步策略有3种,比如其中一种是每隔1秒同步一次AOF文件
  • AOF文件太大了之后会触发AOF重写。重写是根据当时的key-value来重新生成写操作,所以跟已经存在的AOF文件不相关
  • AOF重写过程中的写操作记录在缓存,最后会追加到AOF文件里

数据库

  • 默认16个数据库,编号从0开始。集群里只能使用0号数据库
  • 数据库内部是一个dict结构
  • keyspace@{dbid}:{key} 频道通知key的操作
  • keyevents@{dbid}:{ops} 频道通知操作的key

过期

  • expires字典(dict)记录key的过期时间
  • 惰性删除策略,操作的时候判断key是否过期,过期则删除
  • 定期删除策略,启一个job,随机删除N个过期的key

LRU

  • HashMap + 双向链表,每次访问之后移到链头
  • 近似淘汰算法:随机取出若干个key,按照访问时间排序,淘汰最不经常使用的

淘汰策略

  • noeviction 不淘汰
  • volatile-lru 设置了过期时间的key参与LRU
  • allkeys-lru 所有的key参与LRU
  • volatile-random 随机淘汰设置了过期时间的key
  • allkeys-random 随机淘汰所有的key
  • volatile-ttl 设置了过期时间的key中存活时间最短的

主从复制

  • 角色:主节点,从节点
  • 从节点第一次连上主节点,发送命令PSYNC,主节点会执行全局复制:生成RDB文件,并发送给从节点(同时会把生成RDB文件过程中的写操作也发送给从节点)
  • 同步完成之后,主节点会把写命令传播给从节点(命令传播)
  • 从节点断线重连之后,发送命令PSYNC给主节点,主节点会执行部分复制:根据从节点的offset,从replication backlog里读取未同步的命令,发送给从节点
  • replication backlog是一个固定大小的先进先出队列,每个位置存储了一个字节
  • 从节点定时发送心跳检查给主节点,主节点检查到从节点的offset小于自己的offset,也会把未同步的命令补偿给从节点,整个过程与部分复制类似

Sentinel

建立

  • 角色:哨兵,主节点,从节点
  • 哨兵和主节点建立命令和订阅链接
  • 哨兵每10秒向主节点发送INFO命令,从返回消息里了解主节点,并发现从节点
  • 哨兵每10秒向从节点发送INFO命令,更新从节点和主节点的信息
  • 哨兵每2秒向主从节点发送消息,包括哨兵和主节点的信息,使其他哨兵发现自己,然后哨兵之间建立命令链接

故障转移

  • 哨兵每秒向所有节点发送PING命令,返回PONG
  • 在一个时间范围内,连续返回无效回复,则标识为主观下线
  • 哨兵检测到主节点主观下线后,发送命令SENTINEL is-master-down-by-addr,回复是否主观下线
  • 哨兵收集到一定数量的主观下线,则把节点标识为客观下线
  • 选举领头哨兵
  • 从节点中挑选一个节点,转换为主节点
  • 其他从节点改为复制新的主节点
  • 已下线的主节点设置为从节点

集群

建立集群

  • 客户端发送CLUSTER MEET 命令把节点B加入节点A的集群
  • 节点A发送MEET命令给B,B发送PONG命令给A,A再发送PING给B,握手完成

槽指派

  • 集群的整个数据库被分成16384个槽slot, 每个节点指派一部分槽
  • 客户端发送 CLUSTER AddSlots 命令把槽指派给节点
  • 节点发送消息给其他节点,告知自己负责哪些槽

执行命令

  • 节点计算key使用哪个槽(CRC16),如果是自己则执行命令,如果不是则返回MOVED错误,指引客户端转向正确的节点

重新分片

  • 向目标节点发送 CLUSTER SETSLOT slot IMPORTING source 命令,让目标节点准备好从源节点导入槽
  • 向源节点发送 CLUSTER SETSLOT slot MIGRATING target 命令,让源节点准备好迁移槽
  • 向源节点发送 CLUSTER GetKeysInSlot slot count 命令,返回key name列表
  • 对每个key,向源节点发送 Migrate target key 命令,迁移
  • 向任意节点发送 CLUSTER SetSlot slot NODE target 命令,告知槽已经重新指派

在重新分片过程中,如果源节点不存在key,则返回ASK错误
客户端发送 ASKING 命令给目标节点,再发送原来的命令;如果不发送ASKING命令,则目标节点会返回Moved错误

故障转移

  • 通过发送PING消息来检测对方是否在线,如果在规定的时间里没有返回PONG,则标识为 疑似下线PFail
  • 如果半数以上的节点都标记为 疑似下线,则标记为 已下线Fail
  • 选择一个从节点成为新的主节点

数据结构

  • string:int, embstr, raw,
  • list:双向链表, ziplist, linked list
  • hash: 映射表。数据较少时通过ziplist实现,数据较多时通过dict实现
  • set: 集合,数据少时intset, 通过hash实现
  • zset: 有序集合,ziplist, skiplist

Sorted Set

  • 数据较少时,通过ziplist实现。压缩链表,元素压缩编码
  • 数据较多时,通过zset实现,包含一个dict和一个skiplist。dict用来查询数据到score的映射关系,skiplist用来根据score查询数据(支持范围查询)。
  • dict: 字典,链表解决碰撞
  • skiplist: 跳表,实现简单,范围查询,内存占用少

发布订阅

  • 角色:Channel,Publisher,Subscriber

命令:

  • PUBLISH
  • SUBSCRIBE
  • UNSUBSCRIBE
  • PSUBSCRIBE
  • UNPSUBSCRIBE

订阅Channel

  • redisServer.pubsub_channels 字典
  • 把client添加到channel,一个channel对应多个client
  • 把channel添加到client

订阅模式

  • redisServer.pubsub_patterns 链表
  • 把{client,pattern}添加到链表里

发布消息

  • 在字典里找出channel,遍历上面的client列表,发送信息给client
  • 遍历模式列表,如果模式能够匹配channel,发送信息给client

谢谢阅读!

你可能感兴趣的:(Redis)