Redis底层数据结构
简单动态字符串
都知道redis是通过c语言来编写的,但是c语言里面的字符串修改,存储等有诸多问题,不符合redis的设计思路,所以作者就自己定义了一种简单动态字符串简称SDS.
SDS的定义
SDS遵循了C字符串以空格字符结尾的惯例,保存空字符的1字节空间,但是不计算在SDS的len属性里面,并且为空字符串分配额外的1字节的空间,以及添加空字符到字符串末尾等操作,都是有SDS函数完成的,对开发者了来说是透明的,不用关心.
1个字符的\0,不算入字符串的len中,也不做为redis的结束符,只是为了兼容C语言而设计的.
C语言不记录自身长度,所以每次查看字符串长度都需要O(n)的时间复杂度,而SDS则为len直接可以看到,所以复杂度为O(1).
C语言字符串的缺点
C语言记录自身的长度,所以对于一个包含了N个字符的C字符串来说,C字符串底层实现总是一个N+1个字符长的数组.
所以C语言中字符串的增长或者缩短,都需要进行内存重新分配.
- 如果程序执行的是增长字符串,比如a = a+“bbb”这样的操作,那么在执行这个操作之前,程序先要通过内存重新分配来扩展底层数组的空间大小,如果忘记这一步,就会–缓冲区溢出
- 如果程序执行的是减少字符串,比如a= a.trim(), 那么在执行这个操作之后,程序需要通过内存重新分配释放字符串不再使用的那部分空间,如果忘记了这一步就会–内存泄漏
如果修改字符串不太长出现,那么每次修改都执行一次内存重新分配是OK了,但是redis这种数据库修改,删除是很常见的就不太适合了.
SDS就C语言缺点优化
内存预分配
字符串长度小于1MB则分配字符串2倍的空间.如果字符串长度大于等于1MB,则内存多分配1MB的空间.
分配内存步骤:如果字符串a=“aaa1111111”(长度为10,按照上面的规则,实际占用空间为21),现在修改a=”aaa1111111bbb"多加了3个字b,那么由于free=10,所以不需要在分配内存了,直接存入就OK了.
修改字符串为增加字符串时,内存空间只有在不够用的时候才重新分配,如果足够,则一直都不需要重新分配.
惰性空间释放
上面说了内存预分配,那么当字符串减少时呢?
还是a=“aaa1111111”(实际占用21个字符,len=10,free=10,1个\0字符),现在将a中的1移除掉,a=“aaa”了,那么a现在的空间是多少呢? 答案还是(len=3,free=17,1个\0字符).
就是说redis在减少字符串的时候,并不会重新分配内存,而是将空出来的一起做为备用空间.为下一次增加提供优化.
二进制安全
C字符串必须符合某种编码,并且出了字符串的末尾之外,字符串里买呢不能包括空字符,所以C字符串只能保存文本数据,不能保存图片,音频,视频等二进制数据.
SDS的API都是二进制安全的,所有SDS API都会以处理二进制的方式来处理SDS存放在buf数据里的数据.这样你存入什么数据,读取出来之后还是什么数据.
链表
链表的应用是非常广泛的,比如Reids的发布与订阅,满查询,监视器,保存多个客户端的状态信息等功能,都是使用链表来实现的.
链表结构:
typedef struce list{
//头节点
listNode *head;
//尾节点
listNode *tail;
//链表包含的节点数
unsigned long len;
//节点值复制函数
void *(*dup)(void * ptr);
//节点值释放函数
void (*free)(void *ptr);
//节点值对比函数
int (*match)(void *ptr,void *key);
}
//链表结构
typedef struct listNode{
//前节点
struct listNode *prev;
//下一个节点
struct listNode *next;
//值
void *value;
}
链表总结:
- 双端:链表有prev和next指针,所以是一个双端链表
- 无环: 表头节点的prev指针和表尾的next都指向了null
- 多态: 链表节点使用void * 指针来保存节点值,所有链
字典
字典又称为符号表,关联表,或者映射(map),是一种保存键值对的抽象数据结构.
在字典中的每个key都是独一无二的,程序可以在字典中根据健查找与之关联的值.
redis字典数据结构源码:
typedef struct dict{
//类型特定函数,比如计算hash值的函数,复制函数,键对比函数等.
dictType *type;
//私有数据
void *privdata;
//哈希表
dictht ht[2];
//当rehash不在进行时,值为-1
in trehashidx;
}dict
typedef struct dictht{
//哈希表数组
dictEntry **table;
//哈希表大小(哈希表总的空间大小)
unsigned long size;
//哈希表大小烟吗,用于计算索引值
//sizemask=size-1;
unsigned long sizemask;
//该哈希表已有节点的数量(哈希表中的真实的节点数量)
unsigned long used;
}dictht
typedef struct dictEntry{
//键
void *key;
union{
void *val;
uint64_tu64;
int64_ts64;
}v;
//指向下一个哈希表节点,形成链表
struct dicEntry *next;
} dicEntry
dict.ht[2]: 一般情况下,字典只使用ht[0]哈希表,ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用.
hash键算法
//根据key计算hash值.
hash = dict->type->hashFunction(key);
//使用哈希表的sizemask属性和哈希值,计算出索引值
//根据情况不同,ht[x]可以是ht[0],或者ht[1]
index = hash& dict->ht[x].sizemask;
hash键冲突
rehash,渐进式rehash
跳跃表
跳跃表是一种有序的数据结构.跳跃表支持平均O(logN),最坏O(N)复杂度的节点查找,还可以通过顺序性操作来批量处理节点.大部分情况下,跳跃表的效率可以和平衡树差不多.
压缩列表
压缩列表(ziplist)是列表键和哈希键的底层实现之一.当一个列表键只包含少量列表项,并且列表项要么是小整数值,要么就是比较短的字符串,那么Redis就会使用压缩列表来做列表键的底层实现.
结构
压缩列表是Redis为了节约内存而开发的,有一系列特殊编码的连续的内存块组成的顺序型数据结构.一个压缩列表可以包含任意多个节点,每个节点可以保存一个字节数组或者一个整数值.