Redis6-过期淘汰、经典数据类型的实现

一、redis的缓存过期淘汰策略

redis配置文件中有一个maxmemory,配置内存大小。默认是64位无限制,32位最大3GB。官网推荐配置是物理内存的四分之三。

查看redis内存使用情况,info memory:

Redis6-过期淘汰、经典数据类型的实现_第1张图片1、如果超过了最大内存怎么办 

当超过最大内存之后,设置的时候,会提示OOM,所以会出现内存淘汰策略(LRU)

Redis6-过期淘汰、经典数据类型的实现_第2张图片

redis的key当过期了之后,不一定会立刻删除,需要根据不同清情况分析。

redis的内存删除方式:

  • 立刻删除:能够保证数据新鲜、内存空间释放,但是性能消耗很大
  • 惰性删除:过期后方位第一次删除,对内存不友好,但是性能消耗低
  • 定期删除:折中上面两个方式,定期清理过去数据,但是删除哪个数据、周期是多少需要确定

过期淘汰算法:

  • LRU(最近最少使用):优先淘汰最近未被使用的数据
  • LFU(使用频率最少):优先淘汰最近使用最少的数据

redis6的过期淘汰策略(8种):

名称 策略的解释
noeviction 默认策略,不淘汰数据
allKeys-lru 所有key中,使用LRU算法(推荐)
allKeys-lfu 所有key中,使用LFU算法
allKeys-random 所有key中,使用随机淘汰
volatile-ttl 设置过期key中,挑选出最早过期的key删除
volatile-lru 设置过期key中,使用LRU算法
volatile-lfu 设置过期key中,使用LFU算法
volatile-random 设置过期key中,使用随机淘汰

Redis6-过期淘汰、经典数据类型的实现_第3张图片二、redis经典五种属类型及底层实现

redis可以理解为都是所有的都是字典,key是String、value是redisObject。使用type命令可以看到bitmap类型是stirng、hyperloglog类型是string、GEO类型是zset。所以redis底层数据结构还是经典的五种类型。

RedisObject、五种数据类型、底层实现的关系:

Redis6-过期淘汰、经典数据类型的实现_第4张图片

Redis6-过期淘汰、经典数据类型的实现_第5张图片在redis中,每个键值对都会对应一个dictEntry,存放了指向key、value、下一个dictEntry的指针,key是字符串但是使用redis自定义的SDS存放,而value存放在redisObject中。

Redis6-过期淘汰、经典数据类型的实现_第6张图片

redisObject的结构:

Redis6-过期淘汰、经典数据类型的实现_第7张图片

  • type:当前对象的数据类型
  • encoding:当前对象底层存储的编码类型Redis6-过期淘汰、经典数据类型的实现_第8张图片
  • lru:采用LRU算法,记录对象最后访问的时间
  • refcount:对象引用次数
  • *ptr:指向真正底层数据结构的指针

2.1、String数据结构介绍

1、3大编码格式(为了精确的利用内存)

  • int:保存long型有符号整数,长度最多19位。
  • embstr:redis封装的格式SDS(简单动态字符),超过long型&&长度小于44字节的字符串
  • raw:redis封装的格式SDS(简单动态字符),保存长度大于44字符串

2、编码格式案例

Redis6-过期淘汰、经典数据类型的实现_第9张图片

3、SDS简单动态字符串简介

redis为什么不直接用c语言的字符串,而是自己建立了一套结构SDS,不满意效率。

  • c字符串获取长度,需要遍历char[],时间复杂度是o(N),SDS是o(1)
  • 内存重新分配问题,c字符串是char[]数组,扩容、缩容不方便
  • c字符串遇到'\0'就是结束,容易出现读取问题,二进制安全

SDS结构如下:

Redis6-过期淘汰、经典数据类型的实现_第10张图片

Redis6-过期淘汰、经典数据类型的实现_第11张图片

  • len:已用字节长度
  • alloc:字符串最大字节长度
  • flags:用来博鳌是SDS的类型,SDS8、SDS16、SDS32、SDS64
  • buf[]:真正的字符串

4、源码分析

Redis在启动的时候,会建立1万个0~9999的redisObject变量作为共享对象,这就意味着set字符串键在0~10000的时候,不需要建立对象直接使用共享对象。

Redis6-过期淘汰、经典数据类型的实现_第12张图片

Redis6-过期淘汰、经典数据类型的实现_第13张图片 

embstr和raw不同的地方在于,embstr是内存连续的,raw是重新申请了一块内存,所以embstr会减少内存碎片的产生。还有一点,对embstr进行append,则会转换成raw。

Redis6-过期淘汰、经典数据类型的实现_第14张图片

Redis6-过期淘汰、经典数据类型的实现_第15张图片

2.2、Hash数据结构介绍

  • hash-max-ziplist-entries:使用压缩表保存时,hash集合中最大元素个数
  • hash-max-ziplist-value:使用缩缩表保存时,hash集合中单个元素最大长度

Redis6-过期淘汰、经典数据类型的实现_第16张图片通过上图可知,hash默认数据类型是压缩表,当集合个数太大或者元素长度太大的时候,才会使用hashtable进行保存。可以升级,无法降级。

综上所述,hash数据结构存在2种:ziplist、hashtbale(几乎等价java种的hashtable)

压缩表(ziplist):双向链表,但是不存储指针

是一种紧凑的编码格式,压缩了数据,减少内存空间,但是需要压缩、解压写入、读取。也就是读写率换取空间。内存利用率极高的原因是连续的内存。所以当数据比较小的时候,使用压缩表最合适。

Redis6-过期淘汰、经典数据类型的实现_第17张图片

Redis6-过期淘汰、经典数据类型的实现_第18张图片

  • header:
    • zlbytes:所占内存字节数,用于重新分配和计算zlend
    • zltail:尾节点到起始地址有多少字节
    • zllen :节点数量
  • entry:节点
    • 前一个节点长度:用这个字段和总长度,就能计算出每个节点的位置
    • encoding
    • entry-data
  • zlend:0xff,用于标记压缩表的末端

Redis6-过期淘汰、经典数据类型的实现_第19张图片

优点:

  • 普通列表存在2个指针,有些数据可能还么有指针大,所以优化掉了指针内存,通过长度推算位置
  • 列表内存一般不连续,遍历速度慢,ziplist把相关偏移量记录在节点中,可以跳到上一个或下一个节点
  • 列表长度不在遍历,时间复杂度是O(1)

HashTbale:OBJ_ENCODING_HT是哈希表机构或者称为字典结构

Redis6-过期淘汰、经典数据类型的实现_第20张图片 

2.3、List数据结构介绍

在低版本(3.2之前)的Redis中,list采用底层的数据结构是ziplist+linkedlist,而高版本的Redis中list的底层数据结构是quicklist,而quicklist也用到了ziplist。

Redis6-过期淘汰、经典数据类型的实现_第21张图片

quicklist是ziplist和linkedlist的混合体,他将linkedlist按段切分,每一段使用ziplist来紧凑存储,多个ziplist使用双向指针串起来。

Redis6-过期淘汰、经典数据类型的实现_第22张图片

  • list-compress-depth:1表示quicklist两端各有一个节点不压缩,中间节点压缩
  • list-max-ziplist-size:-1表示quicklist每个节点上的ziplist大小不能超过4K 

2.4、Set数据结构介绍

redis中用intset和hashset存储set,如果元素都是整型,就使用intset。否则使用hashset(数组+链表),其中key是元素,value是null。

Redis6-过期淘汰、经典数据类型的实现_第23张图片

2.5、ZSet数据结构介绍

Redis6-过期淘汰、经典数据类型的实现_第24张图片Redis中使用ziplist和skiplist(跳表)来实现ZSet,当元素不满速上面的情况,就使用ziplist否则使用skiplist。

跳跃表(skiplist): 

由于普通的链表无法进行二分查找,因此借鉴数据库的索引思想,提取出链表中关键节点(索引),现在关键节点上查找,在进入下层链表查找。提取多层关键节点,就形成了skiplist。所以跳表=链表+多级索引(索引的索引),也就是给链表怎加索引,用空间换时间。

Redis6-过期淘汰、经典数据类型的实现_第25张图片

优化为,两两取首:

Redis6-过期淘汰、经典数据类型的实现_第26张图片

主要就是用多级索引能够快速查找,但是为什么是两两取首?既然决定了用空间,那么就让器粒度最低。

针对读多写少的情景,优点是查询块,缺点是浪费空间。 

2.6、小结

Redis6-过期淘汰、经典数据类型的实现_第27张图片

Redis6-过期淘汰、经典数据类型的实现_第28张图片

你可能感兴趣的:(redis,redis,缓存,nosql)