mysql内核分析--innodb动态数组内部实现(上) (摘自老杨)
1. 动态数组概述
动态数组涉及的文件是innodb存储引擎的三个文件：dyn0dyn.h、dyn0dyn.ic以及dyn0dyn.c。
这是一个基本的组件功能，是作为一个动态的虚拟线性数组。数组的基本元素是byte。动态数组dyn主要用来存放mtr的锁定信息以及log。Dyn在实现上，如果block需要分裂节点，则会使用一个内存堆。每个blok块存储数据的数据字段的长度是固定的（默认值是512），但是不一定会完全用完。假设需要存储的数据项的尺寸大于数据块时，该数据项被分拆，这种情况主要用于log的缓冲。
2. 数据结构
typedef struct dyn_block_struct dyn_block_t;
typedef dyn_block_t dyn_array_t;
#define DYN_ARRAY_DATA_SIZE 512
struct dyn_block_struct{
mem_heap_t* heap;
ulint used;
byte data[DYN_ARRAY_DATA_SIZE];
UT_LIST_BASE_NODE_T(dyn_block_t) base;
UT_LIST_NODE_T(dyn_block_t) list;
#ifdef UNIV_DEBUG
ulint buf_end;
ulint magic_n;
#endif
};
//下面两个是公共宏定义，见ut0lst.h
#define UT_LIST_BASE_NODE_T(TYPE)\
struct {\
ulint count; /* count of nodes in list */\
TYPE * start; /* pointer to list start, NULL if empty */\
TYPE * end; /* pointer to list end, NULL if empty */\
}\
#define UT_LIST_NODE_T(TYPE)\
struct {\
TYPE * prev; /* pointer to the previous node,\
NULL if start of list */\
TYPE * next; /* pointer to next node, NULL if end of list */\
}\
字段解释：
1） heap
从字面上理解，heap是内存堆的意思。从上面的结构体中，我们可以看出，dyn_array_t就是dyn_block_struct。这个结构体里面的字段date用来存放数据，used显示已经使用的字节数量，假设这时候还要存储一个长度为x的数据，这时候data里面已经存储不了，所以就需要再分配一个新的block节点。那么分配结构所需要的内存从哪里来了，就从第一个节点里面的heap里面分配。
这里面，我们还需要注意一点。虽然数据结构用的是同一个dyn_block_struct，但是我们称第一个节点为arr，表明这个是动态数组的头节点。其它的节点，我们称为block节点。
我们这里面先来看看，创立dyn的函数是怎么实现的：
UNIV_INLINE
dyn_array_t*
dyn_array_create(
/*=============*/
/* out: initialized dyn array */
dyn_array_t* arr) /* in: pointer to a memory buffer of
size sizeof(dyn_array_t) */
{
ut_ad(arr);
ut_ad(DYN_ARRAY_DATA_SIZE < DYN_BLOCK_FULL_FLAG);
arr->heap = NULL;
arr->used = 0;
#ifdef UNIV_DEBUG
arr->buf_end = 0;
arr->magic_n = DYN_BLOCK_MAGIC_N;
#endif
return(arr);
}
其中的ud_ad是属于宏判断，相当于assert。这个我们暂时不表。这个函数是在mtr创建的时候来调用的，在调用的时候已经分配了arr指针。
在dyn_array_create函数中，系统将heap字段设置为NULL，Used设置为0。Buf_end和magic_n是调试的时候使用的，每个结构体定义都会唯一的对应一个magic_n值。这样在调试的时候，就可以快速进行问题的跟踪。
下面一个问题是，既然heap在起初的设置为NULL，那么什么时候分配给它值？是第一次分配block成员的时候？还是每次分配block成员的时候？
我们这里暂不分析如何插入，我们先看看，当dyn数组已经数据不够用的时候，我们怎么给这个arr增加一个新的block。代码如下：
dyn_block_t*
dyn_array_add_block(
/*================*/
/* out: created block */
dyn_array_t* arr) /* in: dyn array */
{
mem_heap_t* heap;
dyn_block_t* block;
ut_ad(arr);
ut_ad(arr->magic_n == DYN_BLOCK_MAGIC_N);
if (arr->heap == NULL) {
UT_LIST_INIT(arr->base);
UT_LIST_ADD_FIRST(list, arr->base, arr);
arr->heap = mem_heap_create(sizeof(dyn_block_t));
}
block = dyn_array_get_last_block(arr);
block->used = block->used | DYN_BLOCK_FULL_FLAG;
heap = arr->heap;
block = mem_heap_alloc(heap, sizeof(dyn_block_t));
block->used = 0;
UT_LIST_ADD_LAST(list, arr->base, block);
return(block);
}
代码中，我们可以看出，第一次增加block的时候，因为“arr->heap == NULL”条件为真，就会创建一个heap堆，在以后的再增加block时，就会使用的该堆直接分配。所以，我们可以得知，对于dyn动态数组，只有首节点的heap才是有效的。
好，那我们通过图形来看下，增加新节点之后的图形变化。
|
|
|
used |
|
data |
|
base |
|
list |
|
…… |
|
图1.只有一个节点 |
|
NULL |
|
指示data字段被使用的字节数字。 |
|
这是个线性链表的头节点。此时该值为NULL。只在首节点中有效。存储指针。 |
|
指向前一个、下一个节点指针。此时为NULL。 |
图1表示的是只有一个节点时的情况，当节点分裂时的变化，见图2。
|
heap |
|
used |
|
data |
|
base |
|
list |
|
…… |
|
图2.两个节点 |
|
分配内存堆 |
|
heap |
|
used |
|
data |
|
base |
|
list |
|
…… |
|
data字段的start小字段 |
|
heap |
|
used |
|
data |
|
base |
|
list |
|
…… |
|
next |
|
prev |
|
NULL |
|
该start指向自己。这两个是同一节点。 |
|
该block节点的空间通过首节点heap进行分配。 |
通过图2，并集合前面的代码，我们可以发现，从第一个节点，变为两个节点的时候，首节点先把自己挂到base链表中，并分配一个新的节点，挂在base的最后一个节点。链表中的节点通过list进行互连。同样，如果还需要再增加一个节点，那么就在base链表的结尾再增加一个。因为是新增节点，所以设置该节点的used值为0。
我们在关注一下这一行代码：
block->used = block->used | DYN_BLOCK_FULL_FLAG;
从这一行代码，我们可以猜想一下该行代码的含义：
a） FULL表明该节点已经完全使用完，不可以再使用其中的空间。所以，链表只有最后一个节点才是可以使用的。每增加一个节点，总要设置前面一个节点的DYN_BLOCK_FULL_FLAG。
b） 每个块，data数组的预设值是DYN_ARRAY_DATA_SIZE（值为512），
#define DYN_BLOCK_FULL_FLAG 0x1000000UL
所以，use的值小于等于512，那么该节点为尾节点。因为非尾节点的值肯定大于512，它与DYN_BLOCK_FULL_FLAG进行了或操作。