【Redis】什么是渐进式rehash

字典

字典是一种用于保存键值对的抽象数据结构。比如set msg "hello redis"这个键值对就是保存在数据库字典中

字典还是哈希键的底层实现之一，当一个哈希键包含的键值对比较多，又或者键值对中的元素都是比较长的字符串时，redis就会使用字典作为哈希键的底层实现。

redis中的字典使用哈希表作为底层实现，一个哈希表中可以有若干个哈希表节点

字典结构定义

typedef struct dict{
    dictht ht[2];//哈希表，分为h[0],h[1]哈希表，通常情况下使用h[0]，h[1]用于rehash
    itn trehashidx;//rehash索引，当rehash完成时，值为-1
}

哈希表结构定义

typedef struct dictht{
    dictEntity **table;//哈希表数组，数组中的每个元素对应一个dictEntity
    unsigned long size;//哈希表大小，table数组长度
    unsigned long sizemark;//=size-1，这个熟悉和哈希值一起决定一个键应该被放到table数组的哪个索引上
    unsigned long used;//哈希表已有节点的数量
}

哈希表节点结构定义

typedef struct dictEntity{
    void *key;//键
    //值
    union{
        void *val;
        unit64_t u64;
        int64_t s64;
    } v;
    struct dictEntity *next;//发生哈希冲突时使用。指向下一个哈希表节点，形成链表
}

redis的哈希表使用链地址法解决哈希冲突：当发生哈希冲突时（两个键通过计算得出的索引值相同），通过单链表维护这种关系（多个哈希表节点通过next指针构成一个单向链表，新节点总是添加到链表的表头位置）。

例如：键k0和k1计算得出的索引值都是2，由单链表解决哈希冲突，新的键k1添加到链表的表头

 

字典-哈希表-哈希节点的对应关系

 

向字典中添加一个元素的过程：

1. 通过字典的哈希函数，计算出key的hash值

2. 根据hash值和哈希表的sizemark属性计算出索引值：index=hash & dict -> ht[x].sizemark（ht[0]或ht[1]）

3. 根据索引值插入到哈希表数组中

rehash的步骤？

哈希表保存的键值对会增多或者减少，为了让哈希表的负载因子维持在一个合理的范围内（0.1=

1. 为字典的ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的是扩容还是收缩操作，以及ht[0]包含的键值对数量（ht[0].used属性的值）

   • 扩容：ht[1]大小等于第一个大于等于ht[0].used * 2的n次幂

   • 收缩：ht[1]大小等于第一个大于等于ht[0].used的2的n次幂

2. 将保存在ht[0]上的所有键值对rehash到ht[1]上面：rehash得过程是重新计算hash值以及索引值，然后根据索引值插入到ht[1]哈希表的指定索引上

3. 当ht[0]所有键值对都rehash到ht[1]上后，释放ht[0]，将ht[1]设置为ht[0]，并新建一个空白的哈希表作为ht[1]

哈希表什么情况下会扩容和收缩？也就是什么情况下会rehash？

哈希表负载因子计算公式：

load_factory = ht[0].used / ht[0].size (负载因子 = 哈希表已保存节点数量 / 哈希表大小)

1. 扩容

   • 程序没有执行BGSAVE命令或者BGREWRITEAOF(AOF重写)命令，并且哈希表的负载因子大于等于1

   • 如果程序正在执行BGSAVE或者BGREWRITEAOF(AOF重写)命令并且哈希表的负载因子大于等于5。在执行RDB或者AOF重写操作时，redis会创建当前服务器的子进程执行相应操作，为了避免在子进程存在期间对哈希表进行扩展操作，将扩展因子提高。可以避RDB或者AOF重写时不必要的内存写入操作，最大限度的节约内存。

2. 收缩：负载因子小于0.1进行收缩

什么是渐进式rehash？为什么redis使用渐进式rehash？

扩展和收缩需要将ht[0]上的所有键值对rehash到ht[1]哈希表中。但是redis的rehash动作并不是一次性完成的，而是分多次、渐进式的完成的。

为什么不是一次性的完成呢？如果哈希表中保存的键值对数量很少，那么服务器在瞬间就可以将这些键值对全部rehash到ht[1]，但是如果哈希表中保存的是百万、千万甚至亿级别的键值对数量，如果一次性将这些键值对全部rehash到ht[1]，庞大的计算量可能会导致服务器在一段时间内停止服务。

渐进式rehash步骤：

1. 为ht[1]分配空间

2. 将字典中的rehashidx设置为0，表示rehash正式开始，rehash期间，不会阻塞CRUD等操作

3. 当ht[0]所有的键值对都rehash到ht[1]时，将rehashidx属性设置成-1，表示rehash完成

渐进式rehash期间执行CRUD时的哈希表操作

渐进式rehash的过程中，字典同时使用ht[0],ht[1]两个哈希表，渐进式rehash期间，字典的删除、查找、更新操作会在2个哈希表上进行。譬如：查找一个键时，现在ht[0]查找，ht[0]没有找到去ht[1]查找。但是，在渐进式rehash期间，新添加到字典的键值对会保存到ht[1]哈希表中，而ht[0]中不会做任何操作，保证ht[0]只减不增，否则会增加rehash的时间。

 

参考：《Redis设计与实现》