redis学习笔记（7）---压缩字典zipmap

zipmap

　　在hashtable实现中，Redis引入了zipmap数据结构，保证在hashtable刚创建以及元素较少时，用更少的内存来存储，同时对查询的效率也不会受太大的影响。
　　zipmap利用字符串实现了简单的hash表，来存储少量key-value对。

内存布局　　

　　zipmap的内存布局如下：
　　
　　1）zmlen：1个字节　，记录当前zipmap中key-value对的数量。由于zmlen只有1个字节，因此规定其表示的数量只能为0~254，当zmlen>254时，就需要遍历整个zipmap来得到key-value对的个数。
　　2）len：　用于记录key或value的长度，有两种情况，当len的第一个字节为0~253时，那么len就只占用这一个字节。的那个len的第一个字节为254时，那么len将用后面的4个字节来表示。因此len要么占用1字节，要么占用5字节。 　
　　3）free：1字节　，表示随后的value后面的空闲字节数，这主要是改变key的value引起的，如将”foo” => “bar”变为”foo” => “hi”，那么会导致1个字节的空闲空间。当free的字节数过大用1个字节不足以表示时，zipmap就会重新分配内存，保证字符串尽量紧凑。
　　4）end：1个字节　，为0xFF，用于标志zipmap的结束
　　一个简单的示例如下：
　　“\x02\x03foo\x03\x00bar\x05hello\x05\x00world\xff”
　　可以发现：zmlen=2 key1_len=3 key1=”foo” value1_len=3 free_len=0 value1=”bar”
　　key2_len=5 key2=”hello” value2_len=5 free_len=0 value2=”world” end=0xff
　　即当前zipmap中共有两个key-value对，分别为 “foo” => “bar” 和 “hello” => “world”

创建zipmap

unsigned char *zipmapNew(void) {
    unsigned char *zm = zmalloc(2);

    zm[0] = 0; /* Length */
    zm[1] = ZIPMAP_END;
    return zm;
}

　　对于一个空的zipmap只有2个字节，1个字节的zmlen=0,1一个字节的end=0xFF
　　

查找

//在zm中查找key，当totlen=NULL时，表示不需要得到整个zipmap占用的字节数
static unsigned char *zipmapLookupRaw(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned int *totlen) {
    unsigned char *p = zm+1, *k = NULL;
    unsigned int l,llen;

    while(*p != ZIPMAP_END) {
        unsigned char free; 

        l = zipmapDecodeLength(p); //得到key_len
        llen = zipmapEncodeLength(NULL,l); //得到key_len占用的字节数
        if (key != NULL && k == NULL && l == klen && !memcmp(p+llen,key,l)) {
            if (totlen != NULL) { 
                k = p;
            } else {  //不需要zipmap的字节数，直接返回
                return p;
            }
        }
        //跳过当前key-value对，比较下一个
        p += llen+l;
        l = zipmapDecodeLength(p);
        p += zipmapEncodeLength(NULL,l);
        free = p[0];
        p += l+1+free; /* +1 to skip the free byte */
    }
    //否则用totlen记录zipmap占用的字节数
    if (totlen != NULL) *totlen = (unsigned int)(p-zm)+1;
    return k;  
}

set操作

unsigned char *zipmapSet(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned char *val, unsigned int vlen, int *update) {
    unsigned int zmlen, offset;
    unsigned int freelen, reqlen = zipmapRequiredLength(klen,vlen);
    unsigned int empty, vempty;
    unsigned char *p;

    freelen = reqlen;
    if (update) *update = 0;
    p = zipmapLookupRaw(zm,key,klen,&zmlen); //首先在zipmap中查找key
    if (p == NULL) {
        //当zipmap中不存在key时，扩展内存
        zm = zipmapResize(zm, zmlen+reqlen);
        p = zm+zmlen-1;
        zmlen = zmlen+reqlen;

        if (zm[0] < ZIPMAP_BIGLEN) zm[0]++;
    } else {  //zipmap中已有key，则需要将其value更新为val
        if (update) *update = 1;
        freelen = zipmapRawEntryLength(p);
        if (freelen < reqlen) { //如果空闲空间不足时，需要扩展内存
            offset = p-zm;
            zm = zipmapResize(zm, zmlen-freelen+reqlen);
            p = zm+offset;
            memmove(p+reqlen, p+freelen, zmlen-(offset+freelen+1));
            zmlen = zmlen-freelen+reqlen;
            freelen = reqlen;
        }
    }

    //将当前key-value对后面的内容向后移动，预留空间
    empty = freelen-reqlen;
    if (empty >= ZIPMAP_VALUE_MAX_FREE) { 
        offset = p-zm;
        memmove(p+reqlen, p+freelen, zmlen-(offset+freelen+1));
        zmlen -= empty;
        zm = zipmapResize(zm, zmlen);
        p = zm+offset;
        vempty = 0;
    } else {
        vempty = empty;
    }

    //向zipmap中写入key-value对
    p += zipmapEncodeLength(p,klen);
    memcpy(p,key,klen);
    p += klen;
    p += zipmapEncodeLength(p,vlen);
    *p++ = vempty;
    memcpy(p,val,vlen);
    return zm;
}

get操作

int zipmapGet(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned char **value, unsigned int *vlen) {
    unsigned char *p;

    if ((p = zipmapLookupRaw(zm,key,klen,NULL)) == NULL) return 0;
    p += zipmapRawKeyLength(p);
    *vlen = zipmapDecodeLength(p);
    *value = p + ZIPMAP_LEN_BYTES(*vlen) + 1;
    return 1;
}

　　返回1时表示查找成功。当查找成功时，将value的地址和value_len分别保存在value和vlen中返回。

本文所引用的源码全部来自Redis3.0.7版本

redis学习参考资料：
https://github.com/huangz1990/redis-3.0-annotated
Redis 设计与实现（第二版）
http://blog.csdn.net/xiejingfa/article/details/51111230