Linux进程内存管理(一)

本文主要讲用户态进程的内存管理,而不是内核的内存管理。简单地说,就是和 malloc 和 free 相关的内存管理。

简介

Linux 环境下,进程的内存管理器默认是使用 glibc 实现的 ptmalloc 。另外,还有两个比较有名的内存管理器:google 的 tcmalloc 和
fackbook 的 jemalloc 。总体来说, tcmalloc 和 jemalloc 在多核多线程的场景下,性能要优于 ptmalloc 。

HOOK 机制

我们先简单了解一下, malloc 和 free 如何调用到我们自定义的函数。

在 Linux 下,内存管理器一般通过 HOOK 来实现自定义的malloc函数,具体就是通过覆盖__malloc_hook等函数指针来实现。glibc 提供了__malloc_hook__realloc_hook__free_hook__memalign_hook 四个全局函数hook指针。简单地说,就是 malloc 调用的是 __malloc_hook 指针指向的函数,所以 jemalloc 或者 tcmalloc 通过覆盖 __malloc_hook 使程序调用到它们自定义的malloc。
接下来,我们做个小实验,覆盖掉__malloc_hook和__malloc_free。

#include 

// 两个函数声明
static void *my_malloc_hook (size_t, const void *);
static void my_free_hook (void*, const void *);

// 两个全局变量
void* (*old_malloc_hook) (size_t size, const void *caller);
void (*old_free_hook) (void *ptr, const void *caller);

static void my_init (void)
{
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
}

static void* my_malloc_hook (size_t size, const void *caller)
{
  void *result;
  __malloc_hook = old_malloc_hook;
  __free_hook = old_free_hook;
  result = malloc (size);
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  printf ("malloc (%u) returns %p\n", (unsigned int) size, result);
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
  return result;
}

static void my_free_hook (void *ptr, const void *caller)
{
  __malloc_hook = old_malloc_hook;
  __free_hook = old_free_hook;
  free (ptr);
  old_malloc_hook = __malloc_hook;
  old_free_hook = __free_hook;
  printf ("freed pointer %p\n", ptr);
  __malloc_hook = my_malloc_hook;
  __free_hook = my_free_hook;
}

int main ()
{
  my_init ();
  void* p = malloc(1);
  free(p);
}

输出:

$ ./mem_hook 
malloc (1) returns 0x1ad2010
freed pointer 0x1ad2010

不过编译的时候编译器告警说这些hook指针已经废弃了(还是可以使用)。这里描述了其它调用自定义malloc函数的方法,有兴趣的话可以尝试一下。

jemalloc 的 HOOK 代码 (jemalloc.c),不止覆盖了 *_hook 函数指针,还有与
__lib_* 系列函数绑定匿名关系(这应该也是一种覆盖默认函数的方式)。

#if defined(JEMALLOC_IS_MALLOC) && defined(JEMALLOC_GLIBC_MALLOC_HOOK)
/*
 * glibc provides the RTLD_DEEPBIND flag for dlopen which can make it possible
 * to inconsistently reference libc's malloc(3)-compatible functions
 * (https://bugzilla.mozilla.org/show_bug.cgi?id=493541).
 *
 * These definitions interpose hooks in glibc.  The functions are actually
 * passed an extra argument for the caller return address, which will be
 * ignored.
 */
JEMALLOC_EXPORT void (*__free_hook)(void *ptr) = je_free;
JEMALLOC_EXPORT void *(*__malloc_hook)(size_t size) = je_malloc;
JEMALLOC_EXPORT void *(*__realloc_hook)(void *ptr, size_t size) = je_realloc;
#  ifdef JEMALLOC_GLIBC_MEMALIGN_HOOK
JEMALLOC_EXPORT void *(*__memalign_hook)(size_t alignment, size_t size) =
    je_memalign;
#  endif

#  ifdef CPU_COUNT
/*
 * To enable static linking with glibc, the libc specific malloc interface must
 * be implemented also, so none of glibc's malloc.o functions are added to the
 * link.
 */
#    define ALIAS(je_fn)    __attribute__((alias (#je_fn), used))
/* To force macro expansion of je_ prefix before stringification. */
#    define PREALIAS(je_fn) ALIAS(je_fn)
#    ifdef JEMALLOC_OVERRIDE___LIBC_CALLOC
void *__libc_calloc(size_t n, size_t size) PREALIAS(je_calloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_FREE
void __libc_free(void* ptr) PREALIAS(je_free);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_MALLOC
void *__libc_malloc(size_t size) PREALIAS(je_malloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_MEMALIGN
void *__libc_memalign(size_t align, size_t s) PREALIAS(je_memalign);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_REALLOC
void *__libc_realloc(void* ptr, size_t size) PREALIAS(je_realloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___LIBC_VALLOC
void *__libc_valloc(size_t size) PREALIAS(je_valloc);
#    endif
#    ifdef JEMALLOC_OVERRIDE___POSIX_MEMALIGN
int __posix_memalign(void** r, size_t a, size_t s) PREALIAS(je_posix_memalign);
#    endif
#    undef PREALIAS
#    undef ALIAS
#  endif
#endif

jemalloc

后面,我们以 jemalloc 为例子对进程的内存管理器进行简单的学习。

  • 从 github 下载 jemalloc 的代码。
git clone https://github.com/jemalloc/jemalloc.git
  • 编译安装 jemalloc。
$ ./autogen.sh
$ ./configure --enable-debug
$ make
$ sudo make install_bin install_include install_lib
$ sudo ldconfig # 刷新动态库路径信息
  • 例子
#include 

void func()
{
    void* p = malloc(1);
    free(p);
}

int main(int argc, char ** argv)
{
   func();
}

编译链接到 jemalloc

gcc -g -o mem_test mem_test.c  -ljemalloc  # 链接jemalloc

查看链接到的动态库

$ ldd mem_test
    linux-vdso.so.1 =>  (0x00007ffedc246000)
    libjemalloc.so.2 => /usr/local/lib/libjemalloc.so.2 (0x00007fb32f629000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fb32f25f000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fb32ef56000)
    libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007fb32ebd4000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fb32e9b7000)
    libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fb32e7b3000)
    libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007fb32e59d000)
    /lib64/ld-linux-x86-64.so.2 (0x00007fb32faed000)

加入编译命令没有指定 jemalloc,默认链接到 ptmalloc

gcc -g -o mem_test mem_test.c  # 默认链接ptmalloc

则链接到的动态库为:

$ ldd mem_test
    linux-vdso.so.1 =>  (0x00007ffdb0b09000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f39e832c000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f39e86f6000)

参考文档

  • Memory Allocation Hooks
  • Common Function Attributes
  • jemalloc

你可能感兴趣的:(Linux进程内存管理(一))