redis——内存概述

Redis通过自己的方法管理内存,,主要方法有zmalloc(),zrealloc(), zcalloc()和zfree(), 分别对应C中的malloc(), realloc()、
calloc()和free()。相关代码在zmalloc.h和zmalloc.c中。
Redis自己管理内存的好处主要有两个:可以利用内存池等手段提高内存分配的性能;可以掌握更多的内存信息,以便于Redis虚拟内存(VM)等功能中,决定何时将数据swap到磁盘。
先回忆各个系统中常见的内存分配函数:
malloc()分配一块指定大小的内存区域,并返回指向区域开头的指针,若分配失败,则返回NULL。
calloc()与malloc()一样,分配一块指定大小的内存区域,成功时返回区域头指针,失败返回NULL。

区别在于, calloc()的输入参数为count和size,即分配的项的数
目,及每一项的大小。

calloc()在成功分配内存空间后,会将空间内所有值置0。
realloc()修改已分配的内存块的大小。若已分配的内存块后没有足够的空间用于扩展内存块,则重新申请一块满足需要的内存块,并将旧的数据拷贝到新位置,释放旧的内存块,返回指向新的内存块的指针;否则直接扩展原有的内存块。若分配失败,返回NULL。
free()释放已分配的内存块。
内存分配
在Redis中,如果系统中包含TCMALLOC,则会使用tc_malloc()等TCMALLOC中的方法代替malloc()等原有的分配内存方法。 TCmalloc是google perftools中的一个组件。

#if defined(USE_TCMALLOC)
#define malloc(size) tc_malloc(size)

首先看zmalloc()和zfree()两个最常用的方法。 Redis在申请内存时,除了申请需要的size外,还会多申请一块定长(PREFIX_SIZE)的区域用于记录所申请的内存块的长度。如果申请成功, Redis会使用宏函数(Redis中为性能考虑,大量使用宏函数)
update_zmalloc_stat_alloc(size+PREFIX_SIZE, size)记录申请的内存块的相关信息,以便监控内存使用状况;当内存块被zfree()释放时,根据头部的信息可以快速地获知被释放的内存区域的长度,然后通过宏函数update_zmalloc_stat_free()标记释放。源代码中,若系统支持malloc_size()方法,则会使用它返回指针所指向的内存块的大小(Mac OS X 10.4以上支持该方法[3])。 有疑惑的是,在支持malloc_size()的系统中,为何还要多申请PREFIX_SIZE的内存?
 

void *zmalloc(size_t size) {
    void *ptr = malloc(size+PREFIX_SIZE);
    if (!ptr) zmalloc_oom(size);
#ifdef HAVE_MALLOC_SIZE
    update_zmalloc_stat_alloc(redis_malloc_size(ptr),size);
    return ptr;
#else
    *((size_t*)ptr) = size; // 在头部记录内存块的长度
    update_zmalloc_stat_alloc(size+PREFIX_SIZE,size);
    return (char*)ptr+PREFIX_SIZE;
#endif
}

宏update_zmalloc_stat_alloc()中,首先将要分配的空间与内存对齐,然后会根据宏zmalloc_thread_safe判断是否需要对内存信息记录表的相关操作加锁。虽然Redis在大部分场景中是单线程读写的,即thread_safe的,但启用虚拟内存(VM),或持久化dump到磁盘等操作时会启动多线程,因此在多线程模式中,需要对部分操作加锁。内存监控
used_memory记录了Redis使用的内存总数。而多线程下malloc()是线程安全的。
zmalloc_allocations[]记录了各个size分配的内存块的数目,大于256个字节的按256算。应用程序可以通过zmalloc_allocations_for_size(size)获得对应size的
内存块的分配数目;也可以通过zmalloc_used_memory()获得Redis占用的总内存。这些监控类的方法在Redis的日志系统中被用到。
zcalloc(size)、 zrealloc()与zmalloc()的处理策略类似,不再详述。
在部分操作系统中, Redis可以通过zmalloc_get_rss()方法获得自己的进程占用
的内存信息。该信息通过操作系统提供,往往比Redis自己记录的used_memory更准确,
但其获取速度也较慢。这些信息也是用于虚拟内存功能。
除了内存相关的操作外, Redis在此还提供了一个复制字符串的方法zstrdup(char
*),该方法将申请一块与源字符串长度相同的内存区域,并用memcpy()拷贝字符串的内
容。
 

你可能感兴趣的:(NOSQL)