Innodb内存管理

innodb引擎最早由Innobase Oy公司开发，是第一个完整支持ACID事务的MySQL存储引擎，特点是行锁设计，支持MVCC，支持外键，提供一致性非锁定读，从MySQL 5.5版本开始是默认的表存储引擎。

体系架构与后台线程

innodb有多个内存块，这些内存块组成一个大的内存池，用来：

• 维护各个线程内部数据结构
• 缓存数据页，索引页，undo log
• 缓存redo log
• 其它

innodb有4个后台线程：

• Master Thread : 核心后台线程，负责脏页刷新（1.2x后另有线程完成），合并插入缓冲，UNDO页的回收（1.1版本后另有线程完成）
• IO Thread : innodb引擎有大量AIO请求，IO Thread主要负责这些IO请求的回调
• Purge Thread : innodb 1.1版本后成为单独后台线程回收已经使用并分配的undo页
• Page Cleaner Thread : 1.2x版本引入的用来刷新脏页缓存，不再在Master Thread线程中，减轻Master Thread对用户查询线程的阻塞

内存与缓存

缓冲池

缓冲池中缓存的数据页类型有：索引页，数据页，undo页，插入缓冲页，自适应哈希索引，锁信息，数据字典信息等。缓冲池外还存在着redo日志缓冲和额外内存池（innodb数据结构对象申请内存）。

从1.0.x版本后，允许多个缓冲池实例，减小资源竞争以提高并发。

innodb的缓冲池主要有三大类：LRU List, Free List, Flush List，缓存策略是基于LRU和分级缓存。

• LRU List存放Lru缓存页
• Free List是空闲页列表，供LRU List申请
• Flush List是脏页列表，用来管理脏页刷回磁盘。脏页同样存在于LRU List，但是LRU List是维护缓冲池页的可用性，与刷回磁盘分工不同

朴素的LRU算法在扫表等操作中会引发假热点数据替换热点数据的缺陷，导致缓存命中率下降。innodb在LRU列表中添加midpoint位置，位置之前定义为热点数据，位置之后定义为非热点数据。新读取到的页并不直接放到列表首部，而是放到midpoint位置（默认5/8），在这之后一定时间后（默认1s）才会被加到LRU热端。又一个重要的观察变量-Buffer pool hit rate，通常95%以上为健康，小于95%需要观察LRU是否被污染，需要调整midpoint位置和加入热端时间。

重做缓冲日志

由于缓冲池的存在，当发生异常情况（断电，宕机等），需要对已提交事务的数据做恢复，需要REDO日志。innodb首先将redo日志信息放到redo日志缓冲区，再通过一定策略刷到日志文件中，redo日志缓冲减少了对用户操作的阻塞。redo日志会在以下三种情况下刷到磁盘：

• Master Thread每一秒将redo日志刷到磁盘
• 每个事务提交时将redo日志刷到磁盘
• redo缓冲区空间小于1/2时，刷到磁盘

额外的内存池

innodb通过内存堆的方式管理内存，对一些数据结构本身的内存分配时，需要从额外内存池申请，当额外内存池不够时，会从缓冲池申请。

Checkpoint技术

checkpoint是redo上的检查点，redo日志保证checkpoint以前页已经刷回磁盘。CheckPoint技术的目的主要是解决以下几个问题：

• 缩短数据库的恢复时间
• 缓冲池不够用时，将脏页刷到磁盘
• redo日志是循环使用的，可以被重用的部分需要刷新对应的脏页，标记checkpoint

Checkpoint发生的时间，条件以及脏页的选择比较重要与复杂，在innodb存储引擎内部，有两种Checkpoint，分别为Sharp Checkpoint和Fuzzy Checkpoint，Sharp Checkpoint发生在数据库关闭时将所有的脏页刷回磁盘，其它的使用Fuzzy Checkpoint进行页的刷新，即只刷一部分脏页。可能的几种情况的Fuzzy Checkpoint:

• Master Thread Checkpoint：定时刷新脏页
• FLUSH_LRU_LIST Checkpoint：保证LRU_LIST有足够空间（100个空闲页）
• Async/Sync Flush Checkpoint：保证redo log可用（redo log是循环使用的）
• Dirty Page too much Checkpoint：脏页太多（75% google测试best value）