dpdk内存管理之内存分配器（堆分配）

内存分配组织结构

一个socket上所有的可用内存为一个堆。每个堆由大小不同的块组成，每个块是一个连续的存储器片。申请内存时可以指定堆（socket），或者任意堆，当指定为任意堆时，会优先使用本地堆（本地socket）。

结合前面说的dpdk内存初始化，每个堆的原始块是相同socket_id的所有memseg。每个memseg段就是一个地址连续的块。内存申请（rte_malloc）就是把一个堆中合适大小的块分割成申请大小的块返回，剩下的块可以继续被申请使用，成为空闲块；内存释放(rte_free)就是把一个申请的块返回到内存，放置到空闲链表中（可能会合并相邻的空闲块）。

dpdk的内存分配采用内存管理中常见的隐式空闲链表方法。内存分配的结构可以用下图表示：

说明：

• malloc_heaps[]表示堆数组，每个数组元素malloc_heaps[i]表示一个socket i上的堆。
• 每个堆（struct malloc_heap malloc_heaps[i]）都有一个空闲堆数组free_heap[]。再次划分空闲堆数组，是为了方便的定位到合适大小的块，free_heap[]是按块的大小划分块所属的free_heap的。例如，free_heap[3]维护的是块的大小在2^12~2^14之间的所有空闲块。

空闲链表

空闲堆数组中保存着一个空闲链表，所有的空闲链表维护的内存块，就是该堆上可用内存。而其中的每个空闲块是由一个空闲链表组织起来的。每个节点都有一个内存块头（struct malloc_elem｛｝）组成，当开启debug模式时，块的尾部还会有一个trailer尾。注意：在最开始初始化堆时，每个块都是最大的连续块，这时把这个最大的内存块在尾部设置一个哨兵元素（为了分割、合并空闲块），该哨兵元素同样是struct malloc_elem结构，但它的可用状态永远是已分配（busy）状态，大小为0。

查找空闲块

其中struct malloc_elem｛｝的几个比较重要的字段。

• prev指向内存块上一个内存块的头。
• state:busy/free。表示该内存块是否是空闲块。
• size表示该空闲块的大小（包括内存块头和尾（如果debug模式））。

通过prev字段，索引到上个相邻的内存块（合并），通过内存头地址va+size索引到下个相邻的内存块。这样所有相邻的内存块都联系起来了。

分割空闲块（申请内存）

一个空闲块在空闲链表中的结构如下图：

注意：在非debug模式下，trailer为0。

首次分割空闲块

如下图：

主要步骤：

1. 把哨兵内存块的prev指针指向上个空闲块的head。
2. 把空闲块的prev指针设置为NULL。
3. 把空闲块的size设置为head到下个内存块（哨兵）head的长度。
4. 把哨兵的state设置为busy，把空闲块的state设置为free。
5. 根据size，把空闲块插入到合适的空闲链表中。哨兵（busy状态）并不加入空闲链表中，空闲块和哨兵之间是通过隐式链连接起来的。

后续分割空闲块

如下图：

1. 当一个应用请求一个K字节的块时，分配器搜索空闲链表，查找一个足够大可以放置所请求块的空闲块。搜索的方式有多种（首次适配，下次适配，最佳适配），称为放置策略。dpdk的放置策略是先找到首个满足大小k的区间，例如是2^12~2^14；再从区间2^12~2^14对应的空闲链表中依次检查节点是否符合，如果不符合再从下个区间搜索。假设找到空闲块H。
2. 把H从空闲链表中删除。
3. 根据malloc指定的align、bound参数，调整B的data大小，但必须要大于请求的K。
4. 把块B的prev指针指向块A的head。设置块B的状态为busy。
5. 根据H块的size找到相邻的busy块C，把C的prev修改为指向B。
6. 调整A的size。
7. 把A加入空闲链表中。

合并空闲块（释放内存）

释放malloc块B。

释放B有几种情况：

a)     A、C都是free状态。

b)     A是free状态，B是busy状态。

c)     A是busy状态，B是free状态。

d)     A、B都是busy状态。

假如是d)，则B不需要合并，直接找到合适的空闲链表，插入即可。

现假如A是free，C是busy举例说明：

1. 根据B的head+size找到C的head，发现状态是busy，不合并。
2. 根据B的prev找到A，发现A的状态是free，则合并。
3. 把A从空闲链表中删除。
4. A、B合并之后的size是A、B的size之和。
5. 并且把C的prev指向A的head。
6. 把B内存清零。
7. 把A、B合并之后的空闲块插入到合适的空闲链表中。