《Redis设计与实现》第4章 字典

    字典，又称为符号表（symbol table）、关联数组（associative array）或映射（map），是一种用于保存键值对（key-value pair）的抽象数据结构。

    字典中的每个键都是独一无二的，程序可以在字典中根据键查找与之关联的值，或者通过键更新值，又或者根据键删除整个键值对，等等。

    字典在Redis中的应用相当广泛，比如Redis的数据库就是使用字典来作为底层实现的，对数据库的增、删、查、改操作也是构建在对字典的操作之上的。

4.1 字典的实现

    Redis的字典使用哈希表作为底层实现。

4.1.1 哈希表

    Redis字典所使用的哈希表由dict.h/dictht结构定义。

    

    table属性是一个数组，数组中的每个元素都是一个指向dict.h/dictEntry结构的指针，每个dictEntry结构都保存这一个键值对。size属性记录了哈希表的大小，也即table数组的大小，而used属性则记录了哈希表目前已有节点（键值对）的数量。sizemask属性的值总是等于size-1，这个属性和哈希值一起决定一个键应该被放到table数组的哪个索引上。

4.1.2 哈希表节点

    key属性保存着键值对中的键，而v属性则保存着键值对中的值，其中键值对的值可以是一个指针，或者是一个uint64_t整数，又或者是一个int64_t整数。

    next属性是指向另一个哈希表节点的指针，这个指针可以将多个哈希值相同的键值对连接在一起，以此解决键冲突（collision）的问题。

4.1.3 字典

    Redis中的字典由dict.h/dict结构表示：

    type属性和privdata属性针对不同类型的键值对，为创建多态字典而设置的。

    type属性是一个指向dictType结构的指针，每个dictType结构保存了一簇用于操作特定类型键值对的函数，Redis会为用途不同的字典设置不同的类型特定函数。

    而privdata属性则保存了需要传给那些类型特定函数的可选参数。

    ht属性是一个包含两个项的数组，数组中的每个项都是一个dictht哈希表，一般情况下，字典只使用ht[0]哈希表，ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用。

    rehash属性记录rehash目前的进度，如果目前没有在进行rehash，那么它的值为-1。

    普通状态下的字典：

4.2 哈希算法

    当要将一个新的键值对添加到字典里面时，程序需要先根据键值对的键值计算出哈希值和索引值，然后再根据索引值，将包含新键值对的哈希表节点放到哈希表数组的指定索引上面。

    Redis计算哈希值和索引值方法如下：

// 使用字典设置的哈希函数，计算key的哈希值
hash = dict->type->hashFunction(key);
 
// 使用hash表的sizemask属性和哈希值，计算出索引值
// 根据情况不同，ht[x]可以是ht[0]或者ht[1]
index = hash & dict->ht[x].sizemask;

    &运算使得索引值范围在[0,sizemask]。

    当字典被用作数据库的底层实现，或者哈希键的底层实现时，Redis使用MurmurHash2算法来计算键的哈希值。

4.3 解决键冲突

    Redis的哈希表使用链地址法（separatechaining）来解决键冲突，每个哈希表节点都有一个next指针，多个哈希表节点可以用next指针构成一个单向链表，被分配到同一个索引上的多个节点可以用这个单向链表连接起来，这样便解决了键冲突问题。

    dictEntry节点组成的链表没有指向链表表尾的指针，所以基于速度考虑，程序总是将新节点添加到链表的表头位置（复杂度O(1)），排在其他已有节点的前面。

4.4 rehash

    随着操作的不断进行，哈希表保存的键值对会逐渐地增多或减少，为了让哈希表的负载因子（loadfactor）维持在一个合理的范围之内，当哈希表保存的键值对数量太多或者太少时，程序需要对哈希表的大小进行相应的扩展或者收缩。

    Redis对字典的哈希表执行rehash的步骤如下：

    1）为字典的ht[1]哈希表分配空间，这个哈希表的空间大小取决于要执行的操作，以及ht[0]当前包含的键值对数量（也即ht[0].used属性的值）：

• 如果执行的是扩展操作，那么ht[1]的大小为第一个大于等于ht[0].used*2的2ⁿ
• 如果执行的是收缩操作，那么ht[1]的大小为第一个大于等于ht[0].used的2ⁿ

    2）将保存在ht[0]中的所有键值对rehash到ht[1]上面：rehash指的是重新计算键的哈希值和索引值，然后将键值对放置到ht[1]哈希表的指定位置上。

    3）当ht[0]包含的所有键值对都迁移到了ht[1]之后（ht[0]变为空表），释放ht[0]，将ht[1]设置为ht[0]，并在ht[1]新创建一个空白哈希表，为下一次rehash做准备。

哈希表的扩展与收缩

    1）服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于1；

    2）服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令，并且哈希表的负载因子大于等于5；

其中，哈希表的负载因子可以通过以下公式计算得出：

// 负载因子 = 哈希表已保存节点数量 / 哈希表大小
load_factor = ht[0].used / ht[0].size

    另一方面，当哈希表的负载因子小于0.1时，程序自动开始对哈希表执行收缩操作。

4.5 渐进式rehash

    扩展或收缩哈希表需要将ht[0]里面所有键值对rehash到ht[1]里面，但是，这个rehash动作并不是一次性、集中式地完成的，而是分多次、渐进式地完成的。

    键值对的数量极其庞大（几千万甚至上亿个）时，一次性rehash可能导致服务器在一段时间内停止服务。

    渐进式rehash步骤：

    1）为ht[1]分配空间，让字典同时持有ht[0]和ht[1]两个哈希表；

    2）在字典中维持一个索引计数器变量rehashidx，其值初始时为-1，rehash工作正式开始时，增加为0；

    3）在rehash进行期间，每次对字典执行添加、删除、查找或者更新操作时，程序除了执行指定的操作外，还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]，当rehash工作完成后，程序将rehashidx属性的值增加1；

    4）随着字典操作的不断执行，最终在某个时间点上，ht[0]的所有键值对都会被rehash至ht[1]，这时程序将rehashidx属性的值设置为-1，表示rehash操作已完成；

    渐进式rehash的好处是采取分而治之的方式，将rehash键值对所需的计算工作均摊到对字典的每个添加、删除、查找和更新操作上，从而避免了集中式rehash带来的庞大计算量。

    渐进式rehash期间的哈希表操作

   在渐进式rehash进行期间，字典会同时使用ht[0]和ht[1]两个哈希表，字典的删除（delete）、查找（find）、更新（update）等操作会在两个哈希表上进行。

    另外，在渐进式rehash执行期间，新添加到字典的键值对一律会被保存到ht[1]里面，而ht[0]则不再进行任何添加操作。

4.6 字典API