redis学习笔记(7)---压缩字典zipmap

zipmap

  在hashtable实现中,Redis引入了zipmap数据结构,保证在hashtable刚创建以及元素较少时,用更少的内存来存储,同时对查询的效率也不会受太大的影响。
  zipmap利用字符串实现了简单的hash表,来存储少量key-value对。

内存布局  

  zipmap的内存布局如下:
  redis学习笔记(7)---压缩字典zipmap_第1张图片
  1)zmlen:1个字节 ,记录当前zipmap中key-value对的数量。由于zmlen只有1个字节,因此规定其表示的数量只能为0~254,当zmlen>254时,就需要遍历整个zipmap来得到key-value对的个数。
  2)len: 用于记录key或value的长度,有两种情况,当len的第一个字节为0~253时,那么len就只占用这一个字节。的那个len的第一个字节为254时,那么len将用后面的4个字节来表示。因此len要么占用1字节,要么占用5字节。  
  3)free:1字节 ,表示随后的value后面的空闲字节数,这主要是改变key的value引起的,如将”foo” => “bar”变为”foo” => “hi”,那么会导致1个字节的空闲空间。当free的字节数过大用1个字节不足以表示时,zipmap就会重新分配内存,保证字符串尽量紧凑。
  4)end:1个字节 ,为0xFF,用于标志zipmap的结束
  一个简单的示例如下:
  “\x02\x03foo\x03\x00bar\x05hello\x05\x00world\xff”
  可以发现:zmlen=2 key1_len=3 key1=”foo” value1_len=3 free_len=0 value1=”bar”
  key2_len=5 key2=”hello” value2_len=5 free_len=0 value2=”world” end=0xff
  即当前zipmap中共有两个key-value对,分别为 “foo” => “bar” 和 “hello” => “world”

创建zipmap

unsigned char *zipmapNew(void) {
    unsigned char *zm = zmalloc(2);

    zm[0] = 0; /* Length */
    zm[1] = ZIPMAP_END;
    return zm;
}

  对于一个空的zipmap只有2个字节,1个字节的zmlen=0,1一个字节的end=0xFF
  这里写图片描述

查找

//在zm中查找key,当totlen=NULL时,表示不需要得到整个zipmap占用的字节数
static unsigned char *zipmapLookupRaw(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned int *totlen) {
    unsigned char *p = zm+1, *k = NULL;
    unsigned int l,llen;

    while(*p != ZIPMAP_END) {
        unsigned char free; 

        l = zipmapDecodeLength(p); //得到key_len
        llen = zipmapEncodeLength(NULL,l); //得到key_len占用的字节数
        if (key != NULL && k == NULL && l == klen && !memcmp(p+llen,key,l)) {
            if (totlen != NULL) { 
                k = p;
            } else {  //不需要zipmap的字节数,直接返回
                return p;
            }
        }
        //跳过当前key-value对,比较下一个
        p += llen+l;
        l = zipmapDecodeLength(p);
        p += zipmapEncodeLength(NULL,l);
        free = p[0];
        p += l+1+free; /* +1 to skip the free byte */
    }
    //否则用totlen记录zipmap占用的字节数
    if (totlen != NULL) *totlen = (unsigned int)(p-zm)+1;
    return k;  
}

set操作

unsigned char *zipmapSet(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned char *val, unsigned int vlen, int *update) {
    unsigned int zmlen, offset;
    unsigned int freelen, reqlen = zipmapRequiredLength(klen,vlen);
    unsigned int empty, vempty;
    unsigned char *p;

    freelen = reqlen;
    if (update) *update = 0;
    p = zipmapLookupRaw(zm,key,klen,&zmlen); //首先在zipmap中查找key
    if (p == NULL) {
        //当zipmap中不存在key时,扩展内存
        zm = zipmapResize(zm, zmlen+reqlen);
        p = zm+zmlen-1;
        zmlen = zmlen+reqlen;

        if (zm[0] < ZIPMAP_BIGLEN) zm[0]++;
    } else {  //zipmap中已有key,则需要将其value更新为val
        if (update) *update = 1;
        freelen = zipmapRawEntryLength(p);
        if (freelen < reqlen) { //如果空闲空间不足时,需要扩展内存
            offset = p-zm;
            zm = zipmapResize(zm, zmlen-freelen+reqlen);
            p = zm+offset;
            memmove(p+reqlen, p+freelen, zmlen-(offset+freelen+1));
            zmlen = zmlen-freelen+reqlen;
            freelen = reqlen;
        }
    }

    //将当前key-value对后面的内容向后移动,预留空间
    empty = freelen-reqlen;
    if (empty >= ZIPMAP_VALUE_MAX_FREE) { 
        offset = p-zm;
        memmove(p+reqlen, p+freelen, zmlen-(offset+freelen+1));
        zmlen -= empty;
        zm = zipmapResize(zm, zmlen);
        p = zm+offset;
        vempty = 0;
    } else {
        vempty = empty;
    }

    //向zipmap中写入key-value对
    p += zipmapEncodeLength(p,klen);
    memcpy(p,key,klen);
    p += klen;
    p += zipmapEncodeLength(p,vlen);
    *p++ = vempty;
    memcpy(p,val,vlen);
    return zm;
}

get操作

int zipmapGet(unsigned char *zm, unsigned char *key, unsigned int klen, unsigned char **value, unsigned int *vlen) {
    unsigned char *p;

    if ((p = zipmapLookupRaw(zm,key,klen,NULL)) == NULL) return 0;
    p += zipmapRawKeyLength(p);
    *vlen = zipmapDecodeLength(p);
    *value = p + ZIPMAP_LEN_BYTES(*vlen) + 1;
    return 1;
}

  返回1时表示查找成功。当查找成功时,将value的地址和value_len分别保存在value和vlen中返回。



本文所引用的源码全部来自Redis3.0.7版本

redis学习参考资料:
https://github.com/huangz1990/redis-3.0-annotated
Redis 设计与实现(第二版)
http://blog.csdn.net/xiejingfa/article/details/51111230

你可能感兴趣的:(redis学习笔记(7)---压缩字典zipmap)