图解dpdk mempool 对象

一、文件组织

rte_mempool.h：mempool类的属性、方法

rte_mempool.c：mempool对象的创建实现、mempool对象与ring对象（默认）的联系。

rte_mempool_ops.c：mempool对象的操作方法定义

rte_mempool_ring.c：mempoolring类型的操作方法

rte_mempool_stack.c：mempool stack类型的操作方法

二、mempool功能和结构

1.功能

对于提前申请的内存对象可以并发无锁的申请和释放（消费/生产、出队/入队）。当然可以使用栈的方式操作内存对象。

为了减少多核访问造成的冲突，引入了local_cache对象缓冲区。该local_cache非硬件上的cache，而是为了减少多核访问ring造成的临界区访问，coreX app会优先访问该local_cache上的对象。

入队的时候优先入local_cache中，出队的时候优先从local_cache中出队。

2.结构

mempool结构图：

三、使用方法

1、 创建mempool：rte_mempool_create

2、 使用mempool方法操作mempool对象：例如出队列，rte_mempool_get（mp，obj_p）；

四、代码解析

mempool结构图：

1、mempool结构解析

• objhdr_list:把每个objhdr联系起来。可以通过轮询objhdr_list链表，进而轮询每个对象，无论对象是否在ring中，统一管理对象。
• memhdr_list：把每个memzone块联系起来。
  
• 在每个obj前加obj_hdr意图：可以通过ring中出队的obj，找到对应mempool、和对应obj_tlr。
  

2、创建一个mempool的流程

1. 创建一个mempool尾队列的te头
2. 创建一个mempool，hdr+local_cache+trl，并和te的data项联系起来
3. 设置mempool的操作方法索引
4. 申请一个mempool的操作对象（默认是ring），并将其和mempool联系起来
5. 申请memzone内存，把内存对象移植到mempool中（obj_list、mem_list），再用mempool的入队方法（默认ring的入队方法）把内存对象入队到ring中

3、出（入）队的流程

1. 找到local_cache
2. 如果找到的local_cache为空，或者为单消费者，或者出队的数量比初始化的cache大（local_cache为空或者为单生产者），则从ring中直接出（入）队
3. 否者，从local_cache（数量不足时，从ring中补足）出（入）队。

4、关键函数

1、rte_mempool_create_empty()

在rte_mempool_list链表中创建一个节点mempool_tailq_entry，再创建一个*data的实体(rte_mempool + local_cache + private_data)，即mempool的数据结构。

2、rte_mempool_populate_phys()

通过已知地址连续的地址，分割出尽可能多的对象（obj_hdr + obj_body + obj_trl）。把obj_body入队到ring中；obj_hdr加入到rte_mempool_objhdr_list链表中；一块地址连续的地址块加入到rte_mempool_memhdr_list链表中。

3、optimize_object_size()

保证rank总数个连续的对象读写，都会落在不同的rank上

根据：两个互质数a,b为了使aX=bY等式成立，那么X最小的整数值是b，Y最小的整数值是a。推出的一个公式，可以自己验证。