InnoDB数据存储结构

一. InnoDB的数据存储结构：页

索引是在存储引擎中实现的，MySQL服务器上的存储引擎负责对表中数据的读取和写入工作。不同存储引擎中存放的格式一般不同的，甚至有的存储引擎比如Memory都不用磁盘来存储数据，这里讲讲InooDB存储引擎的数据存储结构。

1.1 磁盘与内存交互基本单位：页

InnoDB将数据划分为若干个页，InnoDB中页的大小默认为16KB。  

以 页 作为磁盘和内存之间交互的 基本单位，也就是一次最少从磁盘中读取16KB的内容到内存中，一次最少把内存中的16KB内容刷新到磁盘中。也就是说，在数据库中，不论读一行，还是读多行，都是将这些行所在的页进行加载。也就是说，数据库管理存储空间的基本单位是页（Page），数据库I/O操作的最小单位是页。一个页中可以存储多个行记录。

1.2 页结构概述

页a、页b、页c...页n这些页可以不在 物理结构上相连，只要通过双向链表相关联即可。每个数据页中的记录会按照主键值从小到大的顺序组成一个单向链表，每个数据页都会为存储在它里边的记录生成一个页目录，在通过主键查找某条记录的时候可以在页目录中使用二分法快速定位到对应的槽，然后再遍历该槽对应的分组中的记录即可快速找到指定的记录。

1.3 页的上层结构

• 区（Extent）是比页大一级的存储结构，在InnoDB存储引擎中，一个区会分配 64个连续的页。因为InnoDB中的页大小默认是16KB，所以一个区的大小是64*16KB=1MB。  
• 段（Segment）由一个或多个区组成，区在文件系统是一个连续分配的空间（在InnoDB中是连续的64个页），不过在段中不要求区与区之间是相邻的。段是数据库中的分配单位，不同类型的数据库对象以不同的段形式存在。当我们创建数据表、索引的时候，就会相应创建对应的段，比如创建一张表时会创建一个表段，创建一个索引段。  
• 表空间（Tablespace）是一个逻辑容器，表空间存储的对象是段，在一个表空间中可以有一个或多个段，但是一个段只能属于一个表空间。数据库由一个或多个表空间组成，表空间从管理上可以划分为 系统表空间、用户表空间、撤销表空间、临时表空间等。

二. 页的内部结构

页结构的示意图如下：

作用分别如下：

2.1 第1部分：文件头部 和 文件尾部

File Header

描述各种页的通用信息。（比如页的编号、其上一页、下一页是谁等）

• FIL_PAGE_SPACE_OR_CHKSUM：代表当前页面的校验和（checksum）。文件头部和文件尾部都有该属性。
  • 校验和：就是对于一个很长的字节串来说，我们会通过某种算法来计算一个比较短的值来代表这个很长的字节串，这个比较短的值就称为校验和。在比较两个很长的字节串之前，先比较这两个长字节串的校验和，如果校验和都不一样，则两个长字节串肯定是不同的，所以省去了直接比较两个比较长的字节串的时间损耗。
  • 作用：为了检测一个页是否完整（也就是在同步的时候有没有发生只同步一半的尴尬情况，比如突然断电了），这时可以通过文件尾的校验和（checksum 值）与文件头的校验和做比对，如果两个值不相等则证明页的传输有问题，需要重新进行传输，否则认为页的传输已经完成。
• FIL_PAGE_OFFSET：每一个页都有一个单独的页号，就跟你的身份证号码一样，InnoDB通过页号可以唯一定位一个页。

• FIL_PAGE_TYPE：代表当前页的类型。

• FIL_PAGE_PREV 和 FIL_PAGE_NEXT：InnoDB都是以页为单位存放数据的，如果数据分散到多个不连续的页中存储的话需要把这些页关联起来，FIL_PAGE_PREV和FIL_PAGE_NEXT就分别代表本页的上一个和下一个页的页号。

File Trailer 

• 前4个字节代表页的校验和：这个部分是和File Header中的校验和相对应的。

• 后4个字节代表页面被最后修改时对应的日志序列位置（LSN）：这个部分也是为了校验页的完整性的，如果首部和尾部的LSN值校验不成功的话，就说明同步过程出现了问题。

2.2 第2部分：空闲空间、用户记录 和 最小 最大记录

第二个部分是记录部分，页的主要作用是存储记录，所以 “最大和最小记录” 和 “用户记录” 部分占了页结构的主要空间。

Free Space 

• 我们自己存储的记录会按照指定的行格式存储到User Records部分。但是在一开始生成页的时候，其实并没有User Records这个部分，每当我们插入一条记录，都会从Free Space部分，也就是尚未使用的存储空间中申请一个记录大小的空间划分到User Records部分
• 当Free Space部分的空间全部被User Records部分替代掉之后，也就意味着这个页使用完了，如果还有新的记录插入的话，就需要去申请新的页了，即页分裂。

User Records 

• User Records中的这些记录按照指定的行格式一条一条摆在User Records部分，相互之间形成单链表
• 记录的格式叫行格式

Infimum、Supremum

• 这两条记录（最大、最小记录）不是我们自己定义的记录，所以它们并不存放在页的User Records部分，他们被单独放在一个称为Infimum + Supremum的部分，如图所示：

2.3 第3部分：页目录 和 页面头部

Page Directory

因为单向链表的检索效率不高，最差的情况下需要遍历链表上的所有节点才能完成检索。因此在页结构中专门设计了页目录这个模块，专门给记录做一个目录，通过二分查找法的方式进行检索，提升效率。

• 将所有的记录分成几个组，这些记录包括最小记录和最大记录，但不包括标记为“已删除”的记录
• 最小记录单独作为1组；其余组尽量平分
• 页目录用来存储每组最后一条记录的地址偏移量，这些地址偏移量会按照先后顺序存储起来
• 每组的地址偏移量也被称之为槽（slot），每个槽相当于指针指向了不同组的最后一个记录

Page Header

• 为了能得到一个数据页中存储的记录的状态信息，比如本页中已经存储了多少条记录，第一条记录的地址是什么，页目录中存储了多少个槽等等，特意在页中定义了一个叫Page Header的部分，这个部分占用固定的56个字节，专门存储各种状态信息。

三. InnoDB行格式

我们平时的数据以 行 为单位来向表中插入数据，这些记录在磁盘上的存放方式也被称为行格式或者记录格式。InnoDB存储引擎设计了4种不同类型的行格式，分别是Compact、Redundant、Dynamic和Compressed行格式。

MySQL8的默认行格式：Dynamic

COMPACT行格式

在MySQL 5.1版本中，默认设置为Compact行格式。一条完整的记录其实可以被分为记录的额外信息和记录的真实数据两大部分。

变长字段长度列表 

MySQL支持一些变长的数据类型，比如VARCHAR(M)、TEXT等类型，这些数据类型修饰列称为变长字段，变长字段中存储多少字节的数据不是固定的，所以我们在存储真实数据的时候需要顺便把这些数据占用的字节数也存起来。在Compact行格式中，把所有变长字段的真实数据占用的字节长度都存放在记录的开头部位，从而形成一个变长字段长度列表。

注意：这里面存储的变长长度和字段顺序是反过来的。比如三个varchar字段在表结构的顺序是zhangsan(08)，lisi(04)，songhk(06)。那么在变长字段长度列表中存储的长度顺序就是06，04，08，是反过来的。

NULL值列表