redis底层数据结构之字典(dict)

目录

字典(dict)

1 字典结构

2 dictType(类型特定函数)结构

3 dictht(哈希表)结构

4 dictEntry(哈希表节点)结构

5 字典示意图

6 hash算法

7 hash冲突

8 扩容和收缩(rehash)

9 渐近式rehash

10 扩容和收缩的条件


字典(dict)

字典又称为符号表或者关联数组、或映射(map),是一种用于保存键值对(key-value)的抽象数据结构

字典中的每个key都是唯一的,通过key对值来进行查找或修改,时间复杂度为 O(1)

redis的底层数据结构字典又使用了哈希表,一个哈希表包含多个哈希表节点,每个哈希表节点保存了字典中的一个键值对

1 字典结构

typedef struct dict {
    dictType *type;
    void *privdata;
    dictht ht[2];
    int rehashidx; 
} dict;

其中:

type:类型特定函数,保存了一系列操作dict的函数, redis会为用途不同的字典设置不同的类型特定函数

privdata:私有数据,需要传给type属性中定义的类型特定函数的可选参数

dictht:哈希表,包含两个元素,每个元素都是一个哈希表,一般情况下,字典只使用 ht[0]哈希表,ht[1]哈希表只会在对 ht[0] 哈希表进行 rehash 时使用

rehashidx:rehash索引,不在进行rehash时,值为 -1

2 dictType(类型特定函数)结构

typedef struct dictType {
    unsigned int (*hashFunction)(const void *key);
    void *(*keyDup)(void *privdata, const void *key);
    void *(*valDup)(void *privdata, const void *obj);
    int (*keyCompare)(void *privdata, const void *key1, const void *key2);
    void (*keyDestructor)(void *privdata, void *key);
    void (*valDestructor)(void *privdata, void *obj);
} dictType;

其中:

hashFunction:计算哈希值的函数

keyDup:复制键的函数

valDup:复制值的函数

keyCompare:对比键的函数

keyDestructor:销毁键的函数

valDestructor:销毁值的函数

3 dictht(哈希表)结构

typedef struct dictht {
    dictEntry **table;
    unsigned long size;
    unsigned long sizemask;
    unsigned long used;
} dictht;

其中:

table:哈希表数组,每一个哈希表数组元素都保存了一对键值对

size:哈希表的大小

sizemask:哈希表掩码,值等于 size-1,用于通过hash算法计算索引值

used:哈希表已使用节点的数量

4 dictEntry(哈希表节点)结构

typedef struct dictEntry {
    void *key;
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
    } v;
    struct dictEntry *next;
} dictEntry;

其中:

key:dict中的key

v:dict的value,可以是一个指针,也可以是uint64_t 整数,也可以是int64_t整数

next:指向下一个哈希表节点的指针,当有hash冲突时,解决hash冲突使用,redis使用链地址法解决哈希冲突

5 字典示意图

存有4个key-value对且没有进行rehash的字典结构如下:

type=REDIS_SET 或 REDIS_HASH

redis底层数据结构之字典(dict)_第1张图片

6 hash算法

dict要添加新的key-value对时, redis使用hash算法计算索引值, 根据索引值将key-value对放到哈希表数组的对应位置

redis中计算索引值步骤如下:

1) 计算key的哈希值

使用dict结构的type属性中定义的类型特定函数,计算键(key)的哈希值

redis 使用 MurmurHash2 算法来计算键的哈希值

hash = dict->type->hashFunction(key);

2) 计算索引值

使用哈希表的sizemake属性和哈希值,计算出索引值,根据情况不同:ht[x]可以是 ht[0]或者 ht[1]

index = hash & dict->ht[x].sizemask;

7 hash冲突

哈希表会存在哈希冲突,解决哈希冲突的方法有:开放地址法和链地址法

redis采用的是链地址法,通过next指针可以将多个哈希值相同的键值对连接在一起,用来解决哈希冲突

rehash会增加现有的哈希桶数量,让逐渐增大的entry元素能在更多的桶之间分散保存,减少单个桶中的元素数量,从而减少单个桶中的冲突

8 扩容和收缩(rehash)

当哈希表保存的key-value对太多或太少时,就要通过rehash(重新散列)对哈希表进行扩展或者收缩

dict中存有的两张哈希表:

ht[0]哈希表表示字典正在使用的哈希表,key-value对存在ht[0]中

ht[1]哈希表表示rehash时使用的哈希表,没有申请结点内存空间,只有表结构,不会占用很大的内存空间

步骤如下:

1) 为ht[1]重新分配空间,分配的空间大小取决于要执行的操作,以及ht[0]当前包含的key-value对数量(即ht[0].used的值)

  a 如果执行的是扩展操作,扩展为原哈希表已使用的空间的2倍

  b 如果执行的是收缩操作,收缩为原哈希表已使用空间的一半

2) 使用hash算法重新计算键的哈希值和索引,然后将key-value对存放到ht[1]的对应位置上
3) 当ht[0]包含的所有key-value对都迁移到ht[1]之后(ht[0]变为空),释放ht[0],将ht[1]设置为ht[0],rehashidx设置为 -1

9 渐近式rehash

扩容和收缩操作不是一次性、集中式完成的,而是分多次、渐进式完成的

如果哈希表里保存的key-vlaue对的数量在百万级别,那么一次性将所有key-vlaue对rehash,可能会造成redis在一段时间内不能进行别的操作,所以redis采用渐进式rehash,分多次、渐进式完成地将ht[0]里面的key-vlaue对慢慢地rehash到ht[1]

dict中索引计数器变量rehashidx=0表示开始rehash,每次处理请求时将ht[0]索引位置(rehashidx=上一个rehashidx+1)的所有key-value对拷贝到ht[1],完成拷贝时,rehashidx+1;

渐进式rehash期间,字典的删除、查找、更新等可能会在两个哈希表上进行(不是同时进行),第一个哈希表没有找到,就会去第二个哈希表上进行查找;但是插入key-value对一定是在新的哈希表上进行

10 扩容和收缩的条件

负载因子 = 哈希表已保存节点数量 / 哈希表大小

1) 扩容操作

a 服务器目前没有在执行bgsave命令或者bgrewriteaof命令并且哈希表的负载因子大于等于1

b 服务器目前正在执行bgsave命令或者bgrewriteaof命令并且哈希表的负载因子大于等于5

2) 收缩操作

a 哈希表的负载因子小于 0.1 ,程序自动开始对哈希表执行收缩操作

你可能感兴趣的:(redis,redis,数据结构)