nginx代码分析-基本结构-ngx_pool_t内存池

自定义内存池作用:
提前分配好一定内存空间, 避免对于小块内存(不超过pagesize-1=4095B)的频繁分配和释放, 而是集中进行分配和释放, 提高效率并大大减少了内存碎片产生的可能性. 而对于大块内存的动态分配, 释放的时间消耗是可以接受的.

一. 主要数据结构

struct ngx_pool_large_s {
    ngx_pool_large_t     *next;  // 链表指针
    void                 *alloc;  // 指向分配的大块内存, 大于pagesize
};

typedef struct {
    u_char               *last; // 指向已分配数据区最末
    u_char               *end;  // 指向当前pool最末, last==end代表分配满
    ngx_pool_t           *next; // 指向下一个 ngx_pool_t
    ngx_uint_t            failed; //当前pool中不够分配, 调用ngx_palloc_block新加节点, current节点以及所有之后节点都会自加1
} ngx_pool_data_t;

struct ngx_pool_s {
    ngx_pool_data_t       d;
    size_t                max; // 
    ngx_pool_t           *current; // 指向当前分配内存时选择的第1个ngx_pool_t, failed 5次后指向current.d->next
    ngx_chain_t          *chain;   // 挂一个chain结构, 由ngx_buf_t串联起来
    ngx_pool_large_t     *large;   // 超过, 存放到大数据区
    ngx_pool_cleanup_t   *cleanup;  // 挂载一些需要进行额外清理工作的数据, 如文件
    ngx_log_t            *log;
};

typedef struct {
    ngx_fd_t              fd;   // 对文件类型数据的封装
    u_char               *name;
    ngx_log_t            *log;
} ngx_pool_cleanup_file_t;

 

二. ngx_pool_t的创建, 销毁, 重置

ngx_pool_t *
ngx_create_pool(size_t size, ngx_log_t *log)
{ // 创建总长度为size大小的ngx_pool
    ngx_pool_t  *p;
    // 分配size大小的内存
    p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log);
    if (p == NULL) {
        return NULL;
    }

    p->d.last = (u_char *) p + sizeof(ngx_pool_t);
    p->d.end = (u_char *) p + size;
    p->d.next = NULL;
    p->d.failed = 0;

    size = size - sizeof(ngx_pool_t);  // 最大分配空间4095 B
    p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL;

    p->current = p;
    p->chain = NULL;
    p->large = NULL;
    p->cleanup = NULL;
    p->log = log;

    return p;
}

如图为创建后的节点. ngx_pool_data_t中, 从last指向新分配的开始地址, end指向本节点可分配内存区末尾, last-end的大小来判断当前节点的内存是否够分配请求. next指向下一节点(当前节点满), Failed记录当前节点不能满足分配次数.
max记录当前内存池定义的一次最多分配空间长度(不超过4096B), current指向当前当前的ngx_pool_t节点, chain, large, cleanup目前未分配为空

void
ngx_destroy_pool(ngx_pool_t *pool)  // pool上所有数据释放, pool结构释放
{
    ngx_pool_t          *p, *n;
    ngx_pool_large_t    *l;
    ngx_pool_cleanup_t  *c;

    for (c = pool->cleanup; c; c = c->next) {
        if (c->handler) {
            ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
                           "run cleanup: %p", c);
            c->handler(c->data); // 销毁cleanup链表中的data
        }
    }

    for (l = pool->large; l; l = l->next) {

        ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, "free: %p", l->alloc);

        if (l->alloc) { // 释放大块内存
            ngx_free(l->alloc);
        }
    }

    for (p = pool, n = pool->d.next; /* void */; p = n, n = n->d.next) {
        ngx_free(p);

        if (n == NULL) {
            break;
        }
    }
}

三. 在内存池上的内存管理

3.1 正常情况

客户代码调用ngx_palloc, 在pool上分配size大小的内存, 返回起始地址.

void *
ngx_palloc(ngx_pool_t *pool, size_t size)
{
    u_char      *m;
    ngx_pool_t  *p;

    if (size <= pool->max) {

        p = pool->current; // 跳到当前待分配pool节点

        do {
            m = ngx_align_ptr(p->d.last, NGX_ALIGNMENT); // 内存对齐

            if ((size_t) (p->d.end - m) >= size) { // 当前节点剩余空间够分配
                p->d.last = m + size;

                return m;
            }

            p = p->d.next; // 跳到pool中下一个节点

        } while (p);
        // 当前pool中所有节点无法分配size大小的区域
        return ngx_palloc_block(pool, size);
    }
    // 超过该pool定义的最大分配内存空间
    return ngx_palloc_large(pool, size);
}

void *
ngx_pnalloc(ngx_pool_t *pool, size_t size)
// p->d.last处直接分配, 不做内存对齐

3.2 pool->current节点上不够分配size大小内存

若需要分配内存空间size过大, 调用ngx_palloc_large在ngx_pool_t->large上直接分配.
若当前pool中每个节点都无法分配size大小内存区, 则ngx_palloc_block在pool上新增一个节点, 在其上分配

static void *
ngx_palloc_block(ngx_pool_t *pool, size_t size)
{
    u_char      *m;
    size_t       psize;
    ngx_pool_t  *p, *new, *current;

    psize = (size_t) (pool->d.end - (u_char *) pool); // 内存池节点总长度

    m = ngx_memalign(NGX_POOL_ALIGNMENT, psize, pool->log); // 分配该节点长度大小的内存
    if (m == NULL) {
        return NULL;
    }

    new = (ngx_pool_t *) m;

    new->d.end = m + psize;
    new->d.next = NULL;
    new->d.failed = 0;

    m += sizeof(ngx_pool_data_t);
    m = ngx_align_ptr(m, NGX_ALIGNMENT); // 64位机器, NGX_ALIGNMENT==8byte对齐
    new->d.last = m + size;

    current = pool->current;

    for (p = current; p->d.next; p = p->d.next) {
        if (p->d.failed++ > 4) {
            current = p->d.next;
        }
    }

    p->d.next = new; // 节点加到pool的链表尾

    pool->current = current ? current : new; // 若current已经指向队尾

    return m;
}

如果, p->current指向节点中不够分配size, 则新建节点, failed++, 在ngx_palloc_block创建新节点, 在新节点上分配size大小区域

 

3.3 大内存的分配, 释放

static void *
ngx_palloc_large(ngx_pool_t *pool, size_t size)
{
    void              *p;
    ngx_uint_t         n;
    ngx_pool_large_t  *large;

    p = ngx_alloc(size, pool->log); // 直接malloc内存
    if (p == NULL) {
        return NULL;
    }

    n = 0;

    for (large = pool->large; large; large = large->next) {
        if (large->alloc == NULL) {
            large->alloc = p;
            return p;
        }

        if (n++ > 3) { // 链表中超过3个指向内存非空large_t结构, 则不遍历到队尾, 放在链表头
            break;
        }
    }

    large = ngx_palloc(pool, sizeof(ngx_pool_large_t));
    if (large == NULL) {
        ngx_free(p);
        return NULL;
    }

    large->alloc = p; // 新分配的large内存放在链表头
    large->next = pool->large;
    pool->large = large;

    return p;
}

ngx_int_t
ngx_pfree(ngx_pool_t *pool, void *p)
{
    ngx_pool_large_t  *l;
    for (l = pool->large; l; l = l->next) {
        if (p == l->alloc) { // 遍历large链表, 找到分配内存p所在后释放
            ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
                           "free: %p", l->alloc);
            ngx_free(l->alloc);
            l->alloc = NULL;

            return NGX_OK;
        }
    }

    return NGX_DECLINED;
}

如图, 对于超过pool->max的空间大小的分配, 每次会先分配size大小的内存, 再挂在ngx_palloc_large_t类型的链表上, 首先从链表头遍历是否有alloc指向null, 超过3个非空, 则新建一个pool_large结构放到队头, 这里不太明白为什么要设计成这样, 是否有根据统计值做过优化, 为什么不直接分配放到队头? ngx_pfree有可能多次释放的都是队尾的, 这样实际还是有很多pool_large被浪费.

,

3.4 ngx_pool_cleanup_t 资源的申请, 注册与销毁

ngx_pool_cleanup_add添加一个cleanup资源供客户代码使用, 在将需要资源挂载到内存池同时, 注册一个cleanup_pt函数地址, 供销毁数据时使用. 如果小内存, 仍然是在pool上分配的, 但对于fd等释放时需要额外操作的资源, 仅仅移动pool上的last指针是不够的,需要额外定义一些自己的清理工作.

ngx_pool_cleanup_t *
ngx_pool_cleanup_add(ngx_pool_t *p, size_t size)
{
    ngx_pool_cleanup_t  *c;
    // 分配一个ngx_pool_cleanup_t结构
    c = ngx_palloc(p, sizeof(ngx_pool_cleanup_t));
    if (c == NULL) {
        return NULL;
    }
    // 为ngx_pool_cleanup_t->data分配size大小空间
    if (size) {  
        c->data = ngx_palloc(p, size);
        if (c->data == NULL) {
            return NULL;
        }

    } else {
        c->data = NULL;
    }

    c->handler = NULL;
    c->next = p->cleanup; // 新建节点放在pool->cleanup链表头

    p->cleanup = c;

    ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, p->log, 0, "add cleanup: %p", c);

    return c;
}


void
ngx_pool_run_cleanup_file(ngx_pool_t *p, ngx_fd_t fd)
{  // 清理p->cleanup链表上的所有挂载文件fd
    ngx_pool_cleanup_t       *c;
    ngx_pool_cleanup_file_t  *cf; // ngx_pool_cleanup_t->data类型, 实际是对fd的封装

    for (c = p->cleanup; c; c = c->next) {
        if (c->handler == ngx_pool_cleanup_file) {

            cf = c->data;

            if (cf->fd == fd) { // 找到对应fd, 调用ngx_pool_cleanup_file清理fd
                c->handler(cf);
                c->handler = NULL;
                return;
            }
        }
    }
}


void
ngx_pool_cleanup_file(void *data)
{ // 封装ngx_close_file, 关闭data
    ngx_pool_cleanup_file_t  *c = data;

    ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, c->log, 0, "file cleanup: fd:%d",
                   c->fd);

    if (ngx_close_file(c->fd) == NGX_FILE_ERROR) {
        ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
                      ngx_close_file_n " \"%s\" failed", c->name);
    }
}

如图, 客户代码调用ngx_pool_cleanup_add分配一个cleanup结构, 可存储size大小的数据, 挂载在pool->cleanup链表上, 同时再cleanup->hander指向自定义的cleanup资源处理函数. 可主动调用, 如ngx_pool_run_cleanup_file将制定的fd释放; 被动地, 在销毁内存池destroy_pool时会遍历cleanup链表由handler指向的函数地址来处理data域数据.