InnoDB 存储引擎最早由 Innobase Oy 公司旰发,被包括在 MySQL 数据库所有的二进制发行版本中,从 MySQL 5.5 版本开始是默认的表存储引擎(之前的版本 InnoDB 存储引擎仅在 Windows 下为默认的存储引擎)。该存储引擎是第一个完整支持 ACID 事务的 MySQL 存储引擎(BDB 是第一个支持事务的 MySQL 存储引擎,现在已经停止开发),其特点是行锁设计、支持 MVCC、支持外键、提供一致性非锁定读,同时被设计用来最有效地利用以及使用内存和CPU。
下表显示了各个版本中 InnoDB 存储引擎的功能。
版本 | 功能 |
---|---|
老版本 InnoDB | 支持 ACID、行锁设计、MVCC |
InnoDB 1.0.x | 继承了上述版本所有功能,增加了 compress 和 dynamic 页格式。 |
InnoDB 1.1x | 继承了上述版本所有功能,增加了 Linux AIO,多回滚段。 |
InnoDB 1.2x | 继承了上述版本所有功能,增加了全文索引支持、在线索引添加。 |
下图简单显示了 InnoDB 的存储引擎的体系结构,从图可见,InnoDB 存储引擎有多个内存块,可以认为这些内存块组成了一个大的内存池,负责如下工作:
后台线程的主要作用是负贵刷新内存池中的数据,保证缓冲池中的内存缓存的是最近的数据。此外将已修改的数据文件刷新到磁盘文件,同时保证在数据库发生异常的情,况下 InnoDB 能恢复到正常运行状态。
InnoDB 存储引擎是多线程的模型,因此其后台有多个不同的后台线程,负责处理不同的任务。
Master Thread 是一个非常核心的后台线程,主要负责将缓冲池中的数据异步刷新到硬盘,保证数据的一致性,包括脏页的刷新、合并插入缓冲(INSERT BUFFER)、UNDO 页的回收等。
在 InnoDB 存储引擎中大量使用了 AIO(Async IO)来处理写 IO 请求,这样可以极大提高数据库的性能。而 IO Thread 的工作主要是负责这些 IO 请求的回调(call back)处理。
事务被提交后,其所使用的 undolog 可能不再需要,因此需要 PurgeThread 来回收已经使用并分配的 undo 页。在 InnoDB 1.1 版本之前,purge 操作仅在 InnoDB 存储引擎的 Master Thread 中完成。而从 InnoDB 1.1 版本开始,purge 操作可以独立到单独的线程中进行,以此来减轻 Master Thread 的工作,从而提高 CPU 的使用率以及提升存储引擎的性能。
从 InnoDB 1.2 版本开始,InnoDB 支持多个 Purge Thread,这样做的目的是为了进一步加快 undo 页的回收。同时由于 Purge Thread 需要离散地读取 undo 页,这样也能更进一步利用磁盘的随机读取性能。
Page Cleaner Thread 是在 InnoDB 1.2.x 版本中引入的。其作用是将之前版本中脏页的刷新操作都放入到单独的线程中来完成。而其目的是为了减轻原 Master Thread 的工作及对于用户查询线程的阻塞,进一步提高 InnoDB 存储引擎的性能。
InnoDB 存储引擎是基于磁盘存储的,并将其中的记录按照页的方式进行管理。因此,可将其视为基于磁盘的数据库系统(Disk-base Database)。 在数据库系统中,由于 CPU 速度与磁盘速度之间的鸿沟,基于磁盘的数据库系统通常使用缓冲池技术来提高数据库的整体性能。
缓冲池简单来说就是一块内存区域,通过内存的速度来弥补磁盘速度较慢对数据库性能的影响。在数据库中进行读取页的操作,首先将从磁盘读到的页存放在缓冲池中,这个过程称为将页 “FIX” 在缓冲池中。下一次再读相同的页时,首先判断该页是否在缓冲池中。若在缓冲池中,称该页在缓冲池中被命中,直接读取该页。否则,读取磁盘上的页。
对于数据库中页的修改操作,则首先修改在缓冲池中的页,然后再以一定的频率刷新到磁盘上。这里需要注意的是,页从缓冲池刷新回磁盘的操作并不是在每次页发生更新时触发,而是通过一种称为 Checkpoint 的机制刷新回磁盘。同样,这也是为了提高数,据库的整体性能。
综上所述,缓冲池的大小直接影响着数据库的整体性能。
具体来看,缓冲池中缓存的数据页类型有:索引页、数据页、undo 页、插入缓冲(insert buffer)、自适应哈希索引(adaptive hash index)、InnoDB 存储的锁信息(lock info)、数据字典信息(data dictionary)等。不能简单地认为,缓冲池只是缓存索引页和数据页,它们只是占缓冲池很大的一部分而已。下图很好地显示了 InnoDB 存储引擎中内存的结构情况。
在前一小节中我们知道了缓冲池是一个很大的内存区域,其中存放各种类型的页。那么 InnoDB 存储引擎是怎么对这么大的内存区域进行管理的呢?
通常来说,数据库中的缓冲池是通过 LRU(Latest Recent Used, 最近最少使用)算法来进行管理的。即最频繁使用的页在 LRU 列表的前端,而最少使用的页在 LRU 列表的尾端。当缓冲池不能存放新读取到的页时,将首先释放 LRU 列表中尾端的页。
在 InnoDB 存储引擎中,缓冲池中页的大小默认为 16KB,同样使用 LRU 算法对缓冲池进行管理。稍有不同的是 InnoDB 存储引擎对传统的 LRU 算法做了一些优化。在 InnoDB 的存储引擎中,LRU 列表中还加入了 midpoint 位置。新读取到的页,虽然是最新访问的页,但并不是直接放入到 LRU 列表的首部,而是放人到 LRU 列表的 midpoint 位置。这个算法在 InnoDB 存储引擎下称为 midpoint insertion strategy。 在默认配置下,该位置在 LRU 列表长度的 5/8 处。midpoint 位置可由参数 innodb_old_blocks_pct 控制。
参数 innodb_old_blocks_pct 默认值为 37,表示新读取的页插人到 LRU 列表尾端的 37% 的位置(差不多 3/8 的位置)。在 InnoDB 存储引擎中,把 midpoint 之后的列表称为 old 列表,之前的列表称为 new 列表。可以简单地理解为 new 列表中的页都是最为活跃的热点数据。
那为什么不采用朴素的 LRU 算法,直接将读取的页放入到 LRU 列表的首部呢? 这是因为若直接将读取到的页放入到 LRU 的首部,那么某些 SQL 操作可能会使缓冲池中的页被刷新出,从而影响缓冲池的效率。常见的这类操作为索引或数据的扫描操作。这类操作需要访问表中的许多页,甚至是全部的页,而这些页通常来说又仅在这次查询操作中需要,并不是活跃的热点数据。如果页被放人 LRU 列表的首部,那么非常可能将所需要的热点数据页从 LRU 列表中移除,而在下一次需要读取该页时,InnoDB 存储引擎需要再次访问磁盘。
为了解决这个问题,InnoDB 存储引擎引人了另一个参数来进一步管理 LRU 列表,这个参数是 innodb_old_blocks_ time,用于表示页读取到 mid 位置后需要等待多久才会被加入到 LRU 列表的热端。
LRU 列表用来管理已经读取的页,但当数据库刚启动时,LRU 列表是空的,即没有任何的页。这时页都存放在 Free 列表中。当需要从缓冲池中分页时,首先从 Free 列表中查找是否有可用的空闲页,若有则将该页从 Free 列表中删除,放人到 LRU 列表中。否则,根据 LRU 算法,淘汰 LRU 列表末尾的页,将该内存空间分配给新的页。当页从 LRU 列表的 old 部分加人到 new 部分时,称此时发生的操作为 page made young,而因为 innodb_old_blocks_time 的设置而导致页没有从 old 部分移动到 new 部分的操作称为 page not made young。可以通过命令 SHOW ENGINE INNODB STATUS 来观察 LRU 列表及 Free 列表的使用情况和运行状态。
在LRU列表中的页被修改后,称该页为脏页(dirty page),即缓冲池中的页和磁盘上的页的数据产生了不一致。这时数据库会通过 CHECKPOINT 机制将脏页刷新回磁盘,而 Flush 列表中的页即为脏页列表。需要注意的是,脏页既存在于 LRU 列表中,也存在于 Flush 列表中。LRU 列表用来管理缓冲池中页的可用性,Flush 列表用来管理将页刷新回磁盘,二者互不影响。同 LRU 列表一样,Flush 列表也可以通过命令 SHOW ENGINE INNODB STATUS 来查看。
从 3.2.1 图可以看到,InnoDB 存储引擎的内存区域除了有缓冲池外,还有重做日志缓冲(redo log buffer)。InnoDB 存储引擎首先将重做日志信息先放入到这个缓冲区,然后按一定频率将其刷新到重做日志文件。重做日志缓冲一般不需要设置得很大,因为一般情况下每一秒钟会将重做日志缓冲刷新到日志文件,因此用户只需要保证每秒产生的事务量在这个缓冲大小之内即可。该值可由配置参数 innodb_log_buffer_size 控制,默认为 8MB。
在通常情况下,8MB 的重做日志缓冲池足以满足绝大部分的应用,因为重做日志在下列三种情况下会将重做日志缓冲中的内容刷新到外部磁盘的重做日志文件中。
在 InnoDB 存储引擎中,对内存的管理是通过一种称为内存堆(heap)的方式进行的。在对一些数据结构本身的内存进行分配时,需要从额外的内存池中进行申请,当该区域的内存不够时,会从缓冲池中进行申请。例如,分配了缓冲池(innodb_buffer_pool),但是每个缓冲池中的帧缓冲(framebuffer)还有对应的绶冲控制对象(buffer control block),这些对象记录了一些诸如 LRU、锁、等待等信息,而这个对象的内存需要从领外内存池中申请。因此,在申请了很大的 InnoDB 缓冲池时,也应考虑相应地增加这个值。
前面已经讲到了,缓冲池的设计目的为了协调 CPU 速度与磁盘速度的鸿沟。因此页的操作首先都是在缓冲池中完成的。如果一条 DML 语句,如 Update 或 Delete 改变了页中的记录,那么此时页是脏的,即缓冲池中的页的版本要比磁盘的新。数据库需要将新版本的页从缓冲池刷新到磁盘。
倘若每次一个页发生变化,就将新页的版本刷新到磁盘,那么这个开销是非常大的。若热点数据集中在某几个页中,那么数据库的性能将变得非常差。同时,如果在从缓冲池将页的新版本刷新到磁盘时发生了宕机,那么数据就不能恢复了。为了避免发生数据丢失的问题,当前事务数据库系统普遍都采用了 Write Ahead Log 策略,即当事务提交时,先写重做日志,再修改页。当由于发生宕机而导致数据丢失时,通过重做日志来完成数据的恢复。这也是事务 ACID 中 D(Durability 持久性)的要求。
思考下面的场景,如果重做日志可以无限地增大,同时缓冲池也足够大,能够缓冲所有数据库的数据,那么是不需要将缓冲池中页的新版本刷新回磁盘。因为当发生宕机,时,完全可以通过重做日志来恢复整个数据库系统中的数据到宕机发生的时刻。但是这需要两个前提条件:
对于第一个前提条件,有经验的用户都知道,当数据库刚开始创建时,表中没有任何数据。缓冲池的确可以缓存所有的数据库文件。然而随着市场的推广,用户的增加,产品越来越受到关注,使用量也越来越大。这时负责后台存储的数据库的容量必定会不断增大。当前 3TB 的MySQL 数据库已并不少见,但是 3TB 的内存却非常少见。因此第一个假设对于生产环境应用中的数据库是很难得到保证的。
再来看第二个前提条件:重做日志可以无限增大。也许是可以的,但是这对成本的要求太高,同时不便于运维。DBA 或 SA 不能知道什么时候重做日志是否已经接近于磁盘可使用空间的阈值,并且要让存储设备支持可动态扩展也是需要一定的技巧和设备支持的。
好的,即使上述两个条件都满足,那么还有一个情况需要考虑:宕机后数据库的恢复时间。当数据库运行了几个月甚至几年时,这时发生宕机,重新应用重做日志的时间会非常久,此时恢复的代价也会非常大。
因此 Checkpoint(检查点)技术的目的是解决以下几个问题:
当数据库发生宕机时,数据库不需要重做所有的日志,因为 Checkpoint 之前的页都已经刷新回磁盘。故数据库只需对 Checkpoint 后的重做日志进行恢复。这样就大大缩短了恢复的时间。
此外,当缓冲池不够用时,根据 LRU 算法会溢出最近最少使用的页,若此页为脏页,那么需要强制执行 Checkpoint 将脏页也就是页的新版本刷回磁盘。
重做日志出现不可用的情况是因为当前事务数据库系统对重做日志的设计都是循环使用的,并不是让其无限增大的,这从成本及管理上都是比较困难的。重做日志可以被重用的部分是指这些重做日志已经不再需要,即当数据库发生宕机时,数据库恢复操作不需要这部分的重做日志,因此这部分就可以被覆盖重用。若此时重做日志还需要使用,那么必须强制产生 Checkpoint,将缓冲池中的页至少刷新到当前重做日志的位置。
对于 InnoDB 存储引擎而言,其是通过 LSN(Log Sequence Number)来标记版本的。而 LSN 是 8 字节的数字,其单位是字节。每个页有 LSN 重做日志中也有 LSN,Checkpoint 也有 LSN。可以通过命令 SHOW ENGINE INNODB STATUS 来观察。
在 InnoDB 存储引擎中,Checkpoint 发生的时间、条件及脏页的选择等都非常复杂。
而 Checkpoint 所做的事情无外乎是将缓冲池中的脏页刷回到磁盘。不同之处在于每次刷新多少页到磁盘,每次从哪里取脏页,以及什么时间触发 Checkpoint。在 InnoDB 存储引擎内部,有两种 Checkpoint 分别为:
Sharp Checkpoint 发生在数据库关闭时将所有的脏页都刷新回磁盘,这是默认的工作方式,即参数 innodb_fast_shutdown=1。
但是若数据库在运行时也使用 Sharp Checkpoint,那么数据库的可用性就会受到很大的影响。故在 InnoDB 存储引擎内部使用 Fuzzy Checkpoint 进行页的刷新,即只刷新一部分脏页,而不是刷新所有的脏页回磁盘。这里笔者进行了概括,在 InnoDB 存储引擎中可能发生如下几种情况的 Fuzzy Checkpoint:
对于 Master Thread 中发生的 Checkpoint 差不多以每秒或每十秒的速度从缓冲池的脏页列表中刷新一定比例的页回磁盘。这个过程是异步的,即此时 InnoDB 存储引擎可以进行其他的操作,用户查询线程不会阻塞。
FLUSH_LRU_LIST Checkpoint 是因为 InnoDB 存储引擎需要保证 LRU 列表中需要有差不多 100 个空闲页可供使用。在 InnoDB 1.1.x 版本之前,需要检查 LRU 列表中是否有足够的可用空间操作发生在用户查询线程中,显然这会阻塞用户的查询操作。倘若没有 100 个可用空闲页,那么 InnoDB 存储引擎会将 LRU 列表尾端的页移除。如果这些页中有脏页,那么需要进行 Checkpoint 而这些页是来自 LRU 列表的,因此称为 FLUSH_LRU_LIST Checkpoint。
而从 MySQL 5.6 版本,也就是 InnoDB 1.2.x 版本开始,这个检查被放在了一个单独的 Page Cleaner 线程中进行,并且用户可以通过参数 innodb_lru_scan_depth 控制 LRU 列表中可用页的数量,该值默认为 1024。
Async/Syne Flush Checkpoint 指的是重做日志文件不可用的情况,这时需要强制将一些页刷新回磁盘,而此时脏页是从脏页列表中选取的。若将已经写人到重做日志的 LSN 记为 redo_lsn,将已经刷新回磁盘最新页的 LSN 记为 checkpoint_lsn,则可定义:
checkpoint_age = redo_lsn - checkpoint_lsn
再定义以下的变量:
async_water_mark = 75% * total_redo_log_file_size
sync_water_mark = 90% * total_redo_log_lile_size
若每个重做日志文件的大小为 1GB,并且定义了两个重做日志文件,则重做日志文件的总大小为 2GB 那么 async_water_mark=1.5GB,sync_water_mark=1.8GB。则:
可见,Async/Sync Flush Checkpoint 是为了保证重做日志的循环使用的可用性。在 InnoDB 1.2.x 版本之前,Async Flush Checkpoint 会阻塞发现问题的用户查询线程,而 Sync Flush Checkpoint 会阻塞所有的用户查询线程,并且等待脏页刷新完成。从 InnoDB 1.2.x 版本开始——也就是 MySQL 5.6 版本,这部分的刷新操作同样放人到了单独的 Page Cleaner Thread 中,故不会阻塞用户查询线程。
最后一种 Checkpoint 的情况是 Dirty Page too much,即脏页的数量太多,导致 InnoDB 存储引擎强制进行 Checkpoint。其目的总的来说还是为了保证缓冲池中有足够可用的页。当缓冲池中脏页的数量占据 75% 时。强制进行 Checkpoint,刷新一部分的脏页到磁盘。
Master Thread 具有最高的线程优先级别。其内部由多个循环(loop)组成:主循环(loop)、后台循环(backgroup loop)、刷新循环(flush loop)、暂停循环(suspend loop)。Master Thread 会根据数据库运行的状态在 loop、background loop、flush loop 和 suspend loop 中进行切换。
Loop 被称为主循环,因为大多数的操作是在这个循环中,其中有两大部分的操作:每秒钟的操作和每10秒的操作。伪代码如下:
void master_thread() {
loop:
for (int i = 0; i < 10; i++) {
do thing once per second
sleep 1 second if necessary
}
do things once per ten seconds
goto 1oop;
可以看到,loop 循环通过 thread sleep 来实现,这意味着所谓的每秒一次或每 10 秒一次的操作是不精确的。在负载很大的情况下可能会有延迟(delay),只能说大概在这个频率下。当然,InnoDB 源代码中还通过了其他的方法来尽量保证这个频率。
每秒一次的操作包括:
即使某个事务还没有提交,InnoDB 存储引擎仍然每秒会将重做日志缓冲中的内容刷新到重做日志文件。这一点是必须要知道的,因为这可以很好地解释为什么再大的事务提交(commit)的时间也是很短的。
合并插人缓冲(InsertBuffer)并不是每秒都会发生的。InnoDB 存储引擎会判断当前一秒内发生的 IO 次数是否小于 5 次,如果小于5次,InnoDB 认为当前的 IO 压力很小,可以执行合并插人缓冲的操作。
同样,刷新 100 个脏页也不是每秒都会发生的。InnoDB 存储引擎通过判断当前缓冲池中脏页的比例(buf_get_modifed_ratio_ pct)是否超过了配置文件中 innodb_max_dirty_pages_pct 这个参数(默认为 90,代表 90%),如果超过了这个阈值,InnoDB 存储引擎认为需要做磁盘同步的操作,将 100 个脏页写人磁盘中。
每 10 秒的操作包括:
在以上的过程中,InnoDB 存储引擎会先判断过去 10 秒之内磁盘的 IO 操作是否小于 200 次,如果是,InnDB 存储引擎认为当前有足够的磁盘 IO 操作能力,因此将 100 个脏页刷新到磁盘。接着,InnoDB 存储引擎会合并插人缓冲。不同于每秒一次操作时,可能发生的合并插人缓冲操作,这次的合并插入缓冲操作总会在这个阶段进行。之后,InnoDB 存储引擎会再进行一次将日志缓冲刷新到磁盘的操作。这和每秒一次时发生的操,作是一样的。
接着 InnoDB 存储引擎会进行一步执行 full purge 操作,即删除无用的 Undo 页。对表进行 update、delete 这类操作时,原先的行被标记为删除,但是因为一致性读(consistent read)的关系,需要保留这些行版本的信息。但是在 full purge 过程中,InnoDB 存储引擎会判断当前事务系统中已被删除的行是否可以删除,比如有时候可能还,有查询操作需要读取之前版本的 undo 信息,如果可以删除,InnoDB 会立即将其删除。
从源代码中可以发现,InnoDB 存储引擎在执行 full purge 操作时,每次最多尝试回收 20 个 undo 页。
然后,InnoDB 存储引擎会判断缓冲池中脏页的比例(buf_get_modified_ratio_pct),如果有超过 70% 的脏页,则刷新 100 个脏页到磁盘,如果脏页的比例小于 70%,则只需要刷新 10% 的脏页到磁盘。
接着来看 bckground loop,若当前没有用户活动(数据库空闲时)或者数据库关闭(shurdown),就会切换到这个循环。background loop 会执行以下操作:
若 fush loop 中也没有什么事情可以做了,InnoDB 存储引擎会切换到 suspend_loop,将 Master Thread 挂起,等待事件的发生。若用户启用(enable)了 InnoDB 存储引擎,却没有使用任何 InnoDB 存储引|擎的表,那么 Master Thread 总是处于挂起的状态。
最后,Master Thread 完整的伪代码如下:
void master_thread() {
goto loop;
loop:
for (int i = 0; i < 10; i++) {
thread_sleep(1) // sleep 1 second
do log buffer flush to disk
if ( last_one_second_ ios < 5 )
do merge at most 5 insert buffer
if ( bur_get_modifled_ratio_pct > innodb_max_dirty_pages_pct )
do buffer pool flush 100 dirty page
if ( no user activity )
goto backgroud loop
}
if ( last_ten_second_ios < 200 )
do buffer pool flush 100 dirty page
do merge at most 5 insert buffer
do log buffer flush to disk
do full purge
if ( buf_get_modified_ratio_pct > 70% )
do buffer pool flush 100 dirty page
else
buffer pool flush 10 dirty page
goto loop
background loop:
do full purge
do merge 20 insert buffer
if not idle:
goto loop:
else:
goto flush loop
flush loop:
do buffer pool flush 100 dirty page
if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct )
goto flush loop
goto suspend loop
suspend loop:
suspend_thread()
waiting event
goto loop;
在了解了 1.0.x 版本之前的 MasterThread 的具体实现过程后,细心的读者会发现 InnoDB 存储弓|擎对于 IO 其实是有限制的,在缓冲池向磁盘刷新时其实都做了一定的硬编码(hard coding)。 在磁盘技术飞速发展的今天,当固态磁盘(SSD)出现时,这种规定在很大程度上限制了 InnoDB 存储引擎对磁盘 IO 的性能,尤其是写入性能。
从前面的伪代码来看,无论何时,InnoDB 存储引擎最大只会刷新 100 个脏页到磁盘,合并 20 个插入缓冲。如果是在写入密集的应用程序中,每秒可能会产生大于 100 个的脏页,如果是产生大于 20 个插入缓冲的情况,Master Thread 似乎会 “忙不过来”,或者说它总是做得很慢。即使磁盘能在 1 秒内处理多于 100 个页的写入和 20 个插入缓冲的合并,但是由于 hard coding,Master Thread 也只会选择刷新 100 个脏页和合并 20 个插人缓冲。同时,当发生宕机需要恢复时,由于很多数据还没有刷新回磁盘,会导致恢复的时间可能需要很久,尤其是对于 insertbuffer 来说。
因此 InnoDB Plugin(从 InnoDB 1.0.x 版本开始)提供了参数 innodb_io_capacity,用来表示磁盘 IO 的吞吐量,默认值为 200。对于刷新到磁盘页的数量,会按照 innodb_io_capacity 的百分比来进行控制。规则如下:
若用户使用了 SSD 类的磁盘,或者将几块磁盘做了 RAID,当存储设备拥有更高的 IO 速度时,完全可以将 innodb_io_capacity 的值调得再高点,直到符合磁盘 IO 的吞吐量为止。
另一个问题是,参数 innodb_max_dirty_pages_ pet 默认值的问题,在 InnoDB 1.0.x 版本之前,该值的默认为 90,意味着脏页占缓冲池的90%。但是该值 “太大” 了,因为 InnoDB 存储引擎在每秒刷新缓冲池和 flush loop 时会判断这个值,如果该值大于 innodb_max_dirty_pages_pet,才刷新 100 个脏页,如果有很大的内存,或者数据库服务器的压力很大,这时刷新脏页的速度反而会降低。同样,在数据库的恢复阶段可能需要更多的时间。
从 InnDB 1.0.x 版本开始,innodb_max_dirty_pages_pct 默认值变为了 75。这样既可以加快刷新脏页的频率,又能保证了磁盘 IO 的负载。
InnoDB 1.0.x 版本带来的另一个参数是 innodb_adaptive_fushing(自适应地刷新),该值影响每秒刷新脏页的数量。原来的刷新规则是:脏页在缓冲池所占的比例小于 innodb_max_dirty_pages_pct 时,不刷新脏页;大于 innodb_max_dirty_pages_pct 时,刷新 100个脏页。随着 innodb_adaptive_fushing 参数的引人,InnoDB 存储引擎会通过一个名为 buf_fush_get_desired_flush_rate 的函数来判断需要刷新脏页最合适的数量。粗略地翻阅源代码后发现 buf_fush_get_desired_fush_rate 通过判断产生重做日志(redo log)的速度来决定最合适的刷新脏页数量。因此,当脏页的比例小于 innodb_max_dirty_pages_pet 时,也会刷新一定量的脏页。
还有一个改变是:之前每次进行 full purge 操作时,最多回收 20 个 Undo 页,从 InnoDB 1.0.x 版本开始引人了参数 innodb_purge_batch_size, 该参数可以控制每次 full purge 回收的 Undo 页的数量。该参数的默认值为 20,并可以动态地对其进行修改。
从 InnoDB 1.0.x 版本开始,Master Thread 的伪代码最终变成:
void master_thread() {
goto loop;
loop:
for (int i = 0; i < 10; i++) {
thread_sleep(1) // sleep 1 second
do log buffer flush to disk
if ( last_one_second_ ios < 5% innodb_io_capacity )
do merge at most 5% innodb_io_capacity insert buffer
if ( bur_get_modifled_ratio_pct > innodb_max_dirty_pages_pct )
do buffer pool flush 100% innodb_io_capacity dirty page
else if enable adaptive flush
do buffer pool flush desired amount dirty page
if ( no user activity )
goto backgroud loop
}
if ( last_ten_second_ios < innodb_io_capacity )
do buffer pool flush 100% innodb_io_capacity dirty page
do merge at most 5% innodb_io_capacity insert buffer
do log buffer flush to disk
do full purge
if ( buf_get_modified_ratio_pct > 70% )
do buffer pool flush 100% innodb_io_capacity dirty page
else
buffer pool flush 10% innodb_io_capacity dirty page
goto loop
background loop:
do full purge
do merge 100% innodb_io_capacity insert buffer
if not idle:
goto loop:
else:
goto flush loop
flush loop:
do buffer pool flush 100% innodb_io_capacity dirty page
if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct )
goto flush loop
goto suspend loop
suspend loop:
suspend_thread()
waiting event
goto loop;
在 InnoDB 1.2.x 版本中,Master Thread 的伪代码如下:
if InnoDB is idle
srv_master_do_idle_tasks();
else
srv_master_do_active_tasks();
其中 srv_master_do_idle_tasks() 就是之前版本中每 10 秒的操作,srv_master_do_active_tasks() 处理的是之前每秒中的操作。同时对于刷新脏页的操作,从 Master Thread 线程分离到一个单独的 Page Cleaner Thread 从而减轻了 Master Thread 的工作,同时进一步提高了系统的并发性。
Insert Buffer 可能是 InnoDB 存储引擎关键特性中最令人激动与兴奋的一个功能。不过这个名字可能会让人认为插人缓冲是缓冲池中的一个组成部分。其实不然,InnoDB 缓冲池中有 Insert Buffer 信息固然不错,但是 Insert Buffer 和数据页一样,也是物理页的一个组成部分。
在 InnoDB 存储引擎中,主键是行唯一的标识符。通常应用程序中行记录的插人顺序是按照主键递增的顺序进行插人的。因此,插入聚集索引(Primary Key)一般是顺序的,不需要磁盘的随机读取。比如按下列 SQL 定义表:
CREATE TABLE t (
a INT AUTO_INCREMENT,
b VARCHAR(30),
PRIMARY KEY(a)
);
其中 a 列是自增长的,若对 a 列插入 NULL 值,则由于其具有 AUTO_INCREMENT 属性,其值会自动增长。同时页中的行记录按 a 的值进行顺序存放。在一般情况下,不需要随机读取另一个页中的记录。因此,对于这类情况下的插人操作,速度是非常快的。
注意:并不是所有的主键插入都是顺序的。若主键类是 UUID 这样的类,那么插入和辅助索引一样,同样是随机的。即使主键是自增类型,但是插入的是指定的值,而不是 NULL 值,那么同样可能导致插入并非连续的情况。
但是不可能每张表上只有一个聚集索引,更多情况下,一张表上有多个非聚集的辅助索引(secondary index)。比如,用户需要按照 b 这个字段进行查找,并且 b 这个字段不是唯一的,即表是按如下的 SQL 语句定义的:
CREATE TABLE t (
a INT AUTO_INCREMENT,
b VARCHAR(30),
PRIMARY KEY(a),
key(b)
);
在这样的情况下产生了一个非聚集的且不是唯一的索引。在进行插入操作时,数据页的存放还是按主键 a 进行顺序存放的,但是对于非聚集索引叶子节点的插人不再是顺序的了,这时就需要离散地访问非聚集索引页,由于随机读取的存在而导致了插入操作性能下降。当然这并不是这个 b 字段上索引的错误,而是因为 B+ 树的特性决定了非聚集索引插入的离散性。
需要注意的是,在某些情况下,辅助索引的插入依然是顺序的,或者说是比较顺序的,比如用户购买表中的时间字段。在通常情况下,用户购买时间是一个辅助索引,用来根据时间条件进行查询。但是在插人时却是根据时间的递增而插入的,因此插人也是 “较为” 顺序的。
InnoDB 存储引擎开创性地设计了 Insert Buffer,对于非聚集索引的插入或更新操作,不是每一次直接插入到索引页中,而是先判断插入的非聚集索引页是否在缓冲池中,若在,则直接插入;若不在,则先放人到一个 Insert Buffer 对象中,好像欺骗数据库这个非聚集的索引已经插到叶子节点,而实际并没有,只是存放在另一个位置。然后再以一定的频率和情况进行 Insert Buffer 和辅助索引页子节点的 merge(合并)操作,这时通常能将多个插入合并到一个操作中(因为在一个索引页中),这就大大提高了对于非聚集索引插入的性能。
然而 Insert Buffer 的使用需要同时满足以下两个条件:
当满足以上两个条件时,InnoDB 存储引擎会使用 Insert Buffer,这样就能提高插入操作的性能了。不过考虑这样一种情况:应用程序进行大量的插入操作,这些都涉及了不唯一的非聚集索引,也就是使用了 Insert Buffer。若此时 MySQL 数据库发生了宕机,这时势必有大量的 InsertBuffer 并没有合并到实际的非聚集索引中去。因此这时恢复可能需要很长的时间,在极端情况下甚至需要几个小时。
辅助索引不能是唯一的,因为在插入缓冲时,数据库并不去查找索引页来判断插入的记录的唯一性。如果去查找肯定又会有离散读取的情况发生,从而导致 InsertBuffer 失去了意义。
用户可以通过命令 SHOW ENGINE INODB STATUS 来查看插入缓冲的信息。
目前 Insert Buffer 存在一个问题是:在写密集的情况下,插入缓冲会占用过多的缓冲池内存(innodb_buffer_pool),默认最大可以占用到 1/2 的缓冲池内存。可以通过修改 INUF_POOL_SIZE_PER_MAX_SIZE 控制插入缓冲的大小。
InnoDB 从 1.0.x 版本开始引人了 Change Buffer,可将其视为 Insert Buffer 的升级。从这个版本开始,InnoDB 存储引擎可以对 DML 操作 —— INSERT、DELETE、UPDATE 都进行缓冲,他们分别是:Insert Buffer、Delete Buffer、Purge buffer。
当然和之前 Insert Buffer 一样,Change Buffer 适用的对象依然是非唯一的辅助索引。对一条记录进行 UPDATE 操作可能分为两个过程:
因此 Delete Buffer 对应 UPDATE 操作的第一个过程,即将记录标记为删除。Purge Buffer 对应 UPDATE 操作的第二个过程,即将记录真正的删除。同时,InnoDB 存储引擎提供了参数 innodb_change_buffering 用来开启各种 Buffer 的选项。该参数可选的值为:inserts、deletes、purges、changes、all、none。inserts、 deletes、 purges 就是前面讨论过的三种情况。changes 表示启用 inserts 和 deletes,all 表示启用所有,none 表示都不,启用。该参数默认值为 all。
从 InnoDB 1.2.x 版本开始,可以通过参数 innodb_change_buffer_max_size 来控制 Change Buffer 最大使用内存的数量。innodb_change_buffer_max_size 值默认为 25,表示最多使用 1/4 的缓冲池内存空间,该参数的最大有效值为 50。
Insert Buffer 的数据结构是一棵 B+ 树。在 MySQL 4.1 之前的版本中每张表有一棵 Insert Buffer B+ 树。而在现在的版本中,全局只有一棵 Insert Buffer B+ 树,负责对所有的表的铺助索引进行 Insert Buffer。而这棵 B+ 树存放在共享表空间中,默认也就是 ibdata1 中。因此,试图通过独立表空间 ibd 文件恢复表中数据时,往往会导致 CHECK TABLE 失败。这是因为表的辅助索引中的数据可能还在 Insert Buffer 中,也就是共享表空间中,所以通过 ibd 文件进行恢复后,还需要进行 REPAIR TABLE 操作来重建表上所有的辅助索引。
Insert Buffer 是一棵 B+ 树,因此其也由叶节点和非叶节点组成。非叶节点存放的是查询的 search key(键值),其构造如图所示。
search key 一共占用 9 个字节,其中 space 表示待插人记录所在表的表空间 id,在 InnoDB 存储引擎中,每个表有一个唯一的 space id,可以通过 space id 查询得知是哪张表。space 占用 4 字节。marker 占用 1 字节,它是用来兼容老版本的 Insert Buffer。offset 表示页所在的偏移量,占用 4 字节。
当一个辅助索引要插人到页(space,offset)时,如果这个页不在缓冲池中,那么 InnoDB 存储引擎首先根据上述规则构造一个 search key,接下来查询 Insert Buffer 这棵 B+ 树,然后再将这条记录插人到 Insert Buffer B+ 树的叶子节点中。
对于插入到 Insert Buffer B+ 树叶子节点的记录(如图所示),并不是直接将待插入的记录插入,而是需要根据如下的规则进行构造:
space、marker、page_no 字段和之前非叶节点中的含义相同,一共占用 9 字节。第 4 个字段 metadata 占用 4 字节,其存储的内容如表所示。
名称 | 字节 |
---|---|
IBUF_REC_OFFEST_COUNT | 2 |
IBUF_REC_OFFEST_TYPE | 1 |
IBUF_REC_OFFEST_FLAGS | 1 |
IBUF_REC_OFFSET_COUNT 是保存两个字节的整数,用来排序每个记录进入 Insert Buffer 的顺序。因为从 InnoDB 1.0.x 开始支持 Change Buffer 所以这个值同样记录进入 Insert Buffer 的顺序。通过这个顺序回放(replay)才能得到记录的正确值。
从 Insert Buffer 叶子节点的第 5 列开始,就是实际插入记录的各个字段了。因此较之原插入记录,Insert Buffer B+ 树的叶子节点记录需要额外 13 字节的开销。
因为启用 Insert Buffer 索引后,辅助索引页(space,page_no)中的记录可能被插入到 Insert Buffer B+ 树中,所以为了保证每次 Merge Insert Buffer 页必须成功,还需要有一个特殊的页用来标记每个辅助索引页(space,page_no)的可用空间。这个页的类型为 Insert Buffer Bitmap。
每个 Insert Buffer Bitmap 页用来追踪 16384 个辅助索引页,也就是 256 个区(Extent)。每个 Insert Buffer Bitmap 页都在 16384 个页的第二个页中。关于 Insert Buffer Bitmap 页的作用会在下一小节中详细介绍。
每个辅助索引页在 Insert Buffer Bitmap 页中占用 4 位(bit), 由下表中的三个部分组成。
通过前面的小节读者应该已经知道了 Insert/Change Buffer 是一棵 B+ 树。若需要实现插入记录的辅助索引页不在缓冲池中,那么需要将辅助索引记录首先插入到这棵 B+ 树中。但是 Insert Buffer 中的记录何时合并(merge)到真正的辅助索引中呢?
概括地说,Merge Insert Buffer 的操作可能发生在以下几种情况下:
第一种情况为当辅助索引页被读取到缓冲池中时,例如这在执行正常的 SELECT 查询操作,这时需要检查 Insert Buffer Bitmap 页,然后确认该辅助索引页是否有记录存放于 Insert Buffer B+ 树中。若有,则将 Insert Buffer B+ 树中该页的记录插入到该辅助索引页中。可以看到对该页多次的记录操作通过一次操作合并到了原有的辅助索引页中,因此性能会有大幅提高。
Insert Buffer Bitmap 页用来追踪每个辅助索引页的可用空间,并至少有 1/32 页的空,间。若插入辅助索引记录时检测到插人记录后可用空间会小于 1/32 页,则会强制进行一个合并操作,即强制读取辅助索引页,将 Insert Buffer B+ 树中该页的记录及待插入的记录插入到辅助索引页中。这就是上述所说的第二种情况。
还有一种情况,之前在分析 Master Thread 时曾讲到,在 Master Thread 线程中每秒或每 10 秒会进行一次 Merge Insert Buffer 的操作,不同之处在于每次进行 merge 操作的页的数量不同。
在 Master Thread 中,执行 merge 操作的不止是一个页,而是根据srv_innodb_io_cpacty 的百分比来决定真正要合并多少个辅助索引页。但 InnoDB 存储引擎又是根据怎样的算法来得知需要合并的辅助索引页呢?
在 Insert Bufer B+ 树中,辅助索引页根据(space,offset)都已排序好,故可以根据(space offset)的排序顺序进行页的选择。然而,对于 Inset Bufer 页的选择,InmoDB 存储引擎并非采用这个方式,它随机地选择 Insert Buffer B+ 树的一个页,读取该页中的 space 及之后所需要数量的页。该算法在复杂情况下应有更好的公平性。同,时,若进行 merge 时,要进行 merge 的表已经被删除,此时可以直接丢弃已经被 Insert/Change Buffer 的数据记录。
如果说 Insert Buffer 带给 InnoDB 存储引擎的是性能上的提升,那么 doublewrite(两次写)带给 InnoDB 存储引擎的是数据页的可靠性。当发生数据库宕机时,可能 InnoDB 存储引擎正在写入某个页到表中,而这个页只写了一部分,比如 16KB 的页,只写了前 4KB,之后就发生了宕机,这种情况被称为部分写失效(partial page write)。在 InnoDB 存储引擎未使用 doublewrite 技术前,曾经出现过因为部分写失效而导致数据丢失的情况。
有经验的 DBA 也许会想,如果发生写失效,可以通过重做日志进行恢复。这是一个办法。但是必须清楚地认识到,重做日志中记录的是对页的物理操作,如偏移量 800,写 ‘aaaa’ 记录。如果这个页本身已经发生了损坏,再对其进行重做是没有意义的。这就是说,在应用(apply)重做日志前,用户需要一个页的副本,当写入失效发生时,先通过页的副本来还原该页,再进行重做,这就是 doublewrite。在 InnoDB 存储引擎中 doublewrite 的体系架构如图所示。
doublewrite 由两部分组成,一部分是内存中的 doublewrite buffer 大小为 2MB,另一部分是物理磁盘上共享表空间中连续的 128 个页,即 2 个区(extent),大小同样为 2MB。在对缓冲池的脏页进行刷新时,并不直接写磁盘,而是会通过 memcpy 函数将脏页先复制到内存中的 doublewrite buffer,之后通过 doublewrite buffer 再分两次,每次 1MB 顺序地写入共享表空间的物理磁盘上,然后马上调用 fsync 函数,同步磁盘,避免缓冲写带来的问题。在这个过程中,因为 doublewrite 页是连续的,因此这个过程是顺序写的,开销并不是很大。在完成 doublewrite 页的写入后,再将 doublewrite buffer 中的页写入各个表空间文件中,此时的写入则是离散的。
哈希(hash)是一种非常快的查找方法,在一般情况下这种查找的时间复杂度为 O(1)。而 B+ 树的查找次数,取决于 B+ 树的高度,在生产环境中,B+ 树的高度一般为 3 ~ 4 层,故需要 3 ~ 4 次的查询。
InnoDB 存储引擎会监控对表上各索引页的查询。如果观察到建立哈希索引可以带来速度提升,则建立哈希索引,称之为自适应哈希索引(Adaptive Hash Index,AHI)。AHI 是通过缓冲池的 B+ 树页构造而来,因此建立的速度很快,而且不需要对整张表构建哈希索引。InmoDB 存储引擎会自动根据访问的频率和模式来自动地为某些热点页建立哈希索引。
AHI 有一个要求,即对这个页的连续访问模式必须是一样的。例如对于(a,b)这样的联合索引页,其访问模式可以是以下情况:
访问模式一样指的是查询的条件一样,若交替进行上述两种查询,那么 InonDB 存储引擎不会对该页构造 AHI。此外 AHI 还有如下的要求:
根据 InnoDB 存储引擎官方的文档显示,启用 AHI 后,读取和写人速度可以提高 2 倍,辅助索引的连接操作性能可以提高 5 倍。毫无疑问,AHI 是非常好的优化模式,其设计思想是数据库自优化的(self-tuning),即无需 DBA 对数据库进行人为调整。
通过命令 SHOW ENGINE INNODB STATUS 可以看到当前 AHI 的使用状况。
值得注意的是,哈希索引只能用来搜索等值的查询,如 SELECT * FROM table, WHERE index_col = ‘xxx’。 而对于其他查找类型,如范围查找,是不能使用哈希索引的。通过 hash searches:non-hash searches 可以大概了解使用哈希索引后的效率。
由于 AHI 是由 InnoDB 存储引擎控制的,因此这里的信息只供用户参考。不过用户可以通过观察 SHOW ENGINE INNODB STATUS 的结果及参数 innodb_adaptive_hash_index 来考虑是禁用或启动此特性,默认 AHI 为开启状态。
为了提高磁盘操作性能,当前的数据库系统都采用异步 IO(Asynchronous IO,AIO)的方式来处理磁盘操作。InnoDB 存储引擎亦是如此。
与 AIO 对应的是 Sync IO,即每进行一次 IO 操作,需要等待此次操作结束才能继续接下来的操作。但是如果用户发出的是一条索引扫描的查询,那么这条 SQL 查询语句可能需要扫描多个索引页,也就是需要进行多次的 IO 操作。在每扫描一个页并等待其完成后再进行下一次的扫描,这是没有必要的。用户可以在发出一个 IO 请求后立即再发出另一个 IO 请求,当全部 IO 请求发送完毕后,等待所有 IO 操作的完成,这就是 AIO。
AIO 的另一个优势是可以进行 IO Merge 操作,也就是将多个 IO 合并为 1 个 IO,这样可以提高 IOPS 的性能。例如用户需要访问页的(space,page_no)为:
(8,6)、(8,7),(8,8)
每个页的大小为 16KB,那么同步 IO 需要进行 3 次 IO 操作。而 AIO 会判断到这三个页是连续的(显然可以通过(space,page_no)得知)。因此 AIO 底层会发送一个 IO 请求,从(8,6)开始,读取 48KB 的页。
在 InnoDB 1.1.x 之前,AIO 的实现通过 InnoDB 存储引擎中的代码来模拟实现。而从 InnoDB 1.1.x 开始(InnoDB Plugin 不支持),提供了内核级别 AIO 的支持,称为 Native AIO。因此在编译或者运行该版本 MySQL 时,需要 libaio 库的支持。
需要注意的是,Native AIO 需要操作系统提供支持。Windows 系统和 Linux 系统都提供 Native AIO 支持,而 Mac OSX 系统则未提供。因此在这些系统下,依旧只能使用原模拟的方式。
在 InnoDB 存储引擎中,read ahead 方式的读取都是通过 AIO 完成,脏页的刷新,即磁盘的写入操作则全部由 AIO 完成。
InnoDB 存储引擎还提供了 Flush Neighbor Page(刷新邻接页)的特性。其工作原理为:当刷新一个脏页时,InnoDB 存储引擎会检测该页所在区(extent)的所有页,如果是脏页,那么一起进行刷新。这样做的好处显而易见,通过 AIO 可以将多个 IO 写人操作合并为一个 IO 操作,故该工作机制在传统机械磁盘下有着显著的优势。但是需要考虑到下面两个问题:
为此,InnoDB 存储引擎从 1.2.x 版本开始提供了参数 innodb_flush_neighbors,用来控制是否启用该特性。对于传统机械硬盘建议启用该特性,而对于固态硬盘有着超高 IOPS 性能的磁盘,则建议将该参数设置为 0,即关闭此特性。
InnoDB 是 MySQL 数据库的存储引擎之一,因此 InnoDB 存储引擎的启动和关闭,更准确的是指在 MySQL 实例的启动过程中对 InnoDB 存储引擎的处理过程。
在关闭时,参数 innodb_fast_shutdown 影响着表的存储引擎为 InnoDB 的行为。该参数可取值为 0、1、2,默认值为1。
当正常关闭 MySQL 数据库时,下次的启动应该会非常 “正常”。但是如果没有正常地关闭数据库,如用 kill 命令关闭数据库,在 MySQL 数据库运行中重启了服务器,或者在关闭数据库时,将参数 innodb_fast_shutdown 设为了 2 时,下次 MySQL 数据库启动时都会对 InnoDB 存储引擎的表进行恢复操作。
参数 innodb_force_recovery 影响了整个 InnoDB 存储引擎恢复的状况。该参数值默认为 0,代表当发生需要恢复时,进行所有的恢复操作,当不能进行有效恢复时,如数据页发生了 corruption,MySQL 数据库可能发生宕机(crash),并把错误写入错误日志中去。
但是,在某些情况下,可能并不需要进行完整的恢复操作,因为用户自已知道怎么进行恢复。比如在对一个表进行 alter table 操作时发生意外了,数据库重启时会对 InnoDB 表进行回滚操作,对于一个大表来说这需要很长时间,可能是几个小时。这时用户可以自行进行恢复,如可以把表删除,从备份中重新导入数据到表,可能这些操作的速度要远远快于回滚操作。
参数 innodb_force_recovery 还可以设置为 6 个非零值:1 ~ 6。大的数字表示包含了前面所有小数字表示的影响。具体情况如下:
需要注意的是,在设置了参数 innodb_force_recovery 大于 0 后,用户可以对表进行 select、create 和 drop 操作但 insert、update 和 delete 这类 DML 操作是不允许的。