Redis底层结构与缓存原理

Redis是一个Key-Value的存储系统,使用ANSI C语言编写。

key的类型是字符串。

value的数据类型有:

常用的:string字符串类型、list列表类型、set集合类型、sortedset(zset)有序集合类型、hash类型。

不常见的:bitmap位图类型、geo地理位置类型。

一,Redis key的设计

将一个表,例如User表存入Redis中做缓存时,进行Key值的设计通常需要注意以下四个步骤:

  • 用:分割
  • 把表名转换为key前缀, 比如: user:
  • 第二段放置主键值
  • 第三段放置列名

实例:有User表中有如下数据存入到Redis中进行key的设计

Redis底层结构与缓存原理_第1张图片

 username 的 key: user:1:username   <表名:ID值:列明  如此设计Key值,表示明确,因为主键的唯一性,也不会出现被其它数据覆盖的问题>  

二,Value常用数据类型

一, 字符串

Redis的String能表达3种值的类型:字符串、整数、浮点数 100.01 是个六位的串

常见命令:

Redis底层结构与缓存原理_第2张图片

上面的常见命令中着重分析setnx的使用,因为这个命令会涉及分布式锁的使用

通常情况下通过set命令去重复对一个key插入数据时,后面的数据会覆盖前面的数据,但是使用set NX之后,对于key已经存在的情况下,数据不会写入。这里对于 Redis的版本要求2.6以上,如果是2.6以下的版本无法在set后加NX会出现报错。

Redis底层结构与缓存原理_第3张图片

Redis底层结构与缓存原理_第4张图片

 关于后续加px设置数据超时时间,超过这个时间的数据自动过期消除。

 二,List列表

list列表类型可以存储有序、可重复的元素,且获取头部或尾部附近的记录是极快的,list的元素个数最多为2^32-1个(40亿)

Redis中的list和传统的数组不同,它是双向的,类似双向链表的结构(毕竟可以通过索引去取出),可以从两边进行存入和取出。也正是因为这样子的结构,Redis中的List即可用来当消息队列使用(左侧插入,右侧取出),也可以头进头出(栈)

Redis底层结构与缓存原理_第5张图片

 常见命令:

Redis底层结构与缓存原理_第6张图片

对于push进去的数据,数据排序的顺序需要了解,例lpush插入的第一个数据,会在这个数组的最右侧

Redis底层结构与缓存原理_第7张图片

三,Set集合类型

Set:无序、唯一元素,集合中最大的成员数为 2^32 - 1

常用命令:

Redis底层结构与缓存原理_第8张图片

 需要注意交集与随机数获取的命令使用:Redis底层结构与缓存原理_第9张图片

四,sortedset有序集合类型 

SortedSet(ZSet) 有序集合: 元素本身是无序不重复的,每个元素关联一个分数(score),可按分数排序,分数可重复。通常用来做排行榜等数据。

常用命令:

Redis底层结构与缓存原理_第10张图片

 模拟点击事件次数

 五,hash类型(散列表)

Redis hash 是一个 string 类型的 field 和 value 的映射表,它提供了字段和字段值的映射。 每个 hash 可以存储 2^32 - 1 键值对(40多亿)。

 Redis底层结构与缓存原理_第11张图片

常用命令:

Redis底层结构与缓存原理_第12张图片 用于模拟存储对象

Redis底层结构与缓存原理_第13张图片

 三,Redis底层数据结构

Redis底层结构与缓存原理_第14张图片

Redis没有表的概念,Redis实例所对应的db以编号区分,db本身就是key的命名空间。 

一,RedisDB结构

Redis中存在“数据库”的概念,该结构由redis.h中的redisDb定义。 当redis 服务器初始化时,会预先分配 16 个数据库,所有数据库保存到结构 redisServer 的一个成员 redisServer.db 数组中, redisClient中存在一个名叫db的指针指向当前使用的数据库

RedisDB结构源码:

Redis底层结构与缓存原理_第15张图片


二,RedisObject结构

Value是一个对象,包含字符串对象,列表对象,哈希对象,集合对象和有序集合对象(常用的结构对象)

RedisObject结构源码:

Redis底层结构与缓存原理_第16张图片

 24位LRU lru(两种淘汰策略公用的一个字段)

记录的是对象最后一次被命令程序访问的时间,( 4.0 版本占 24 位,2.6 版本占 22 位)。

高16位存储一个分钟数级别的时间戳,低8位存储访问计数(lfu : 最近访问次数)

lru----> 高16位: 最后被访问的时间

lfu----->低8位:最近访问次数

refcount refcount

记录的是该对象被引用的次数,类型为整型。

refcount 的作用,主要在于对象的引用计数和内存回收。

当对象的refcount>1时,称为共享对象 Redis 为了节省内存,当有一些对象重复出现时,新的程序不会创建新的对象,而是仍然使用原来的对象。


三,字符串SDS 

C语言情况下字符数组结尾会以"\0"结尾,Redis 使用了 SDS(Simple Dynamic String)。用于存储字符串和整型数据,SDS结构如下图所示,相比较之下对数组的可用长度,占用长度做了指针属性,那么可以计算buf[] 的长度=len+free+1

Redis底层结构与缓存原理_第17张图片

 SDS结构源码

Redis底层结构与缓存原理_第18张图片

 SDS的优势:

  • SDS 在 C 字符串的基础上加入了 free 和 len 字段,获取字符串长度:SDS 是 O(1),C 字符串是 O(n)。
  • SDS 由于记录了长度,在可能造成缓冲区溢出时会自动重新分配内存,杜绝了缓冲区溢出。
  • 可以存取二进制数据,以字符串长度len来作为结束标识

C语言 & SDS:

c语言情况下 \0 空字符串 二进制数据包括空字符串,所以没有办法存取二进制数据 。SDS非二进制之不用说,二进制情况下当成字符串的长度来存储


四,跳跃表

跳跃表是有序集合(sorted-set)的底层实现,效率高,实现简单。

跳跃表的基本思想:将有序链表中的部分节点分层,每一层都是一个有序链表。

通过抛硬币(概率1/2)的方式来决定新插入结点跨越的层数:

Redis底层结构与缓存原理_第19张图片

 跳跃表结构源码:

//跳跃表节点
typedef struct zskiplistNode {
    sds ele; /* 存储字符串类型数据 redis3.0版本中使用robj类型表示,
                但是在redis4.0.1中直接使用sds类型表示 */
    double score;//存储排序的分值
    struct zskiplistNode *backward;//后退指针,指向当前节点最底层的前一个节点
    /*
        层,柔性数组,随机生成1-64的值
        */
    struct zskiplistLevel {
        struct zskiplistNode *forward; //指向本层下一个节点
        unsigned int span;//本层下个节点到本节点的元素个数
    } level[];
} zskiplistNode;

//链表
typedef struct zskiplist{
    //表头节点和表尾节点
    structz skiplistNode *header, *tail;
    //表中节点的数量
    unsigned long length;
    //表中层数最大的节点的层数
    int level;
}zskiplist

Redis底层结构与缓存原理_第20张图片

跳跃表的优势:

1、可以快速查找到需要的节点 O(logn)

2、可以在O(1)的时间复杂度下,快速获得跳跃表的头节点、尾结点、长度和高度。

应用场景:有序集合的实现 


五,Redis字典

字典dict又称散列表(hash),是用来存储键值对的一种数据结构 Redis整个数据库是用字典来存储的。(K-V结构) 对Redis进行CURD操作其实就是对字典中的数据进行CURD操作。

hash函数可以把Redis里的key:包括字符串、整数、浮点数统一转换成整数。这个部分不做多的解析,和JDK HashMap底层结构一致(对于Hash冲突,定位存储下标,扩容重新计算Hash)

Redis字典结构

Redis字典实现包括:字典(dict)、Hash表(dictht)、Hash表节点(dictEntry)。

Redis底层结构与缓存原理_第21张图片

Redis底层结构与缓存原理_第22张图片 

 

Hash表源码

Redis底层结构与缓存原理_第23张图片 Hash表节点源码

Redis底层结构与缓存原理_第24张图片

dict字典源码 

Redis底层结构与缓存原理_第25张图片

type字段,指向dictType结构体,里边包括了对该字典操作的函数指针 

Redis底层结构与缓存原理_第26张图片


六,压缩列表

压缩列表(ziplist)是由一系列特殊编码的连续内存块组成的顺序型数据结构,主要作用用于节省内存。

压缩列表数据结构与源码:

Redis底层结构与缓存原理_第27张图片

 应用场景:

sorted-set和hash元素个数少且是小整数或短字符串(直接使用)

Redis底层结构与缓存原理_第28张图片

list用快速链表(quicklist)数据结构存储,而快速链表是双向列表与压缩列表的组合。(间接使用)


 七,快速列表

快速列表(quicklist)是Redis底层重要的数据结构。是列表的底层实现。(在Redis3.2之前,Redis采 用双向链表(adlist)和压缩列表(ziplist)实现。)在Redis3.2以后结合adlist和ziplist的优势Redis设 计出了quicklist。

Redis底层结构与缓存原理_第29张图片

quicklist是一个双向链表,链表中的每个节点时一个ziplist结构。quicklist中的每个节点ziplist都能够存 储多个数据元素。 

Redis底层结构与缓存原理_第30张图片 快速列表源码

Redis底层结构与缓存原理_第31张图片

Redis底层结构与缓存原理_第32张图片

quicklist每个节点的实际数据存储结构为ziplist,这种结构的优势在于节省存储空间。为了进一步降低 ziplist的存储空间,还可以对ziplist进行压缩。Redis采用的压缩算法是LZF。其基本思想是:数据与前 面重复的记录重复位置及长度,不重复的记录原始数据。

Redis底层结构与缓存原理_第33张图片

 四,Redis缓存过期与淘汰策略

maxmemory设置(最大内存设置)

设置maxmemory后,当趋近maxmemory时,通过缓存淘汰策略,从内存中删除对象 不设置maxmemory 无最大内存限制 maxmemory-policy noeviction (禁止驱逐不淘汰)

expire

使用expire命令设置一个键的存活时间(ttl: time to live),过了这段时间,该键就会自动 被删除。

expire源码

Redis底层结构与缓存原理_第34张图片


删除策略

Redis的数据删除有定时删除、惰性删除和主动删除三种方式,Redis的数据删除有定时删除、惰性删除和主动删除三种方式。

定时删除:在设置键的过期时间的同时,创建一个定时器,让定时器在键的过期时间来临时,立即执行对键的删除 操作。 需要创建定时器,而且消耗CPU,一般不推荐使用。

惰性删除:在key被访问时如果发现它已经失效,那么就删除它。调用expireIfNeeded函数,该函数的意义是:读取数据之前先检查一下它有没有失效,如果失效了就删 除它。

主动删除:在redis.conf文件中可以配置主动删除策略,默认是no-enviction(不删除);maxmemory-policy allkeys-lru

缓存淘汰策略的选择

  • allkeys-lru : 在不确定时一般采用策略。 冷热数据交换
  • volatile-lru : 比allkeys-lru性能差,存 : 过期时间
  • allkeys-random : 希望请求符合平均分布(每个元素以相同的概率被访问)
  • 自己控制:volatile-ttl 缓存穿透

你可能感兴趣的:(Redis,Redis)