数据库进阶(2)——MySQL架构(2)

学习官网
前部分的学习

四、InnoDB存储引擎

InnoDB,是MySQL的数据库引擎之一,现为MySQL的默认存储引擎,为MySQL AB发布binary的标准之一。
与传统的ISAM与MyISAM相比,InnoDB的最大特色就是支持了ACID兼容的事务功能,类似于PostgreSQL。
InnoDB 给 MySQL 提供了具有事务、回滚和崩溃修复能力、多版本并发控制的事务安全型表。
在技术上,InnoDB 是一套放在 MySQL后台的完整数据库系统,InnoDB 在主内存中建立其专用的缓冲池用于高速缓冲数据和索引。

1、MySQL存储引擎种类

存储引擎 说明
MyISAM 高速引擎,拥有较高的插入,查询速度,但不支持事务
InnoDB 5.5版本后MySQL的默认数据库,支持事务和行级锁定,比MyISAM处理速度稍慢
ISAM MyISAM的前身,MySQL5.0以后不再默认安装
MRG_MyISAM(MERGE) 将多个表联合成一个表使用,在超大规模数据存储时很有用
Memory 内存存储引擎,拥有极高的插入,更新和查询效率。但是会占用和数据量成正比的内存空间。只在内存上保存数据,意味着数据可能会丢失
Falcon 一种新的存储引擎,支持事物处理,传言可能是InnoDB的替代者
Archive 将数据压缩后进行存储,非常适合存储大量的独立的,作为历史记录的数据,但是只能进行插入和查询操作
CSV CSV 存储引擎是基于 CSV 格式文件存储数据(应用于跨平台的数据交换)

查看存储引擎:

mysql> show engines;

数据库进阶(2)——MySQL架构(2)_第1张图片
InnoDB和MyISAM存储引擎区别:

\ Innodb Myisam
存储文件 【.frm 表定义文件】【 .ibd 数据文件和索引文件】 【.frm 表定义文件】【.myd 数据文件】【.myi 索引文件】
表锁、行锁 表锁
事务 支持 不支持
CRDU 读、写 读多
count 扫表 专门存储的地方
索引结构 B+ Tree B+ Tree

拓展:XtraDB存储引擎是由Percona公司提供的存储引擎,该公司还出品了Percona Server这个产品,它是基于MySQL开源代码进行修改之后的产品。其中MariaDB中包含了XtraDB引擎。阿里对于Percona Server服务器进行修改,衍生了自己的数据库(alisql)。

引擎的选择:大部分情况下,InnoDB都是正确的选择。对于如何选择MySQL引擎这件事上可以归纳为一句话:除非需要用到某些InnoDB不具备的特性,并且没有其他办法可以替代,否则都应该选择InnoDB引擎。

2、InnoDB架构图

数据库进阶(2)——MySQL架构(2)_第2张图片
上图详细显示了InnoDB存储引擎的体系架构,从图中可见,InnoDB存储引擎由内存池,后台线程和磁盘文件三大部分组成

3、lnnoDB磁盘文件

InnoDB的主要的磁盘文件主要分为三大块:
一是系统表空间,二是用户表空间,三是redo日志文件和归档文件。

二进制文件(binlog)等文件是MySQL Server层维护的文件,所以未列入InnoDB的磁盘文件中。

(1)重做(redo)日志文件

数据库进阶(2)——MySQL架构(2)_第3张图片
a、哪些文件是重做日志文件?

默认情况下,在InnoDB存储引擎的数据目录下会有两个名为ib_logfile0ib_logfile1的文件,
这就是InnoDB的重做日志文件(redo log file),它记录了对于InnoDB存储引擎的事务日志。
achieve redo log(重做日志归档)在InnoDB非常古老的版本(MySQL4.0.6之前的版本)才存在,
自从MySQL8.0.17发布后,又恢复了redo log归档(redo log archiving)功能。

b、重做(备份)日志文件的作用是什么?

当InnoDB的数据存储文件发生错误时,重做日志文件就能派上用场。
InnoDB存储引擎可以使用重做日志文件将数据恢复为正确状态,以此来保证数据的正确性和完整性。
为了得到更高的可靠性,用户可以设置多个镜像日志组,
将不同的文件组放在不同的磁盘上,以此来提高重做日志的高可用性。

c、重做日志文件组是如何写入数据的?
每个InnoDB存储引擎至少有1个重做日志文件组(group),
每个文件组下至少有2个重做日志文件,
如默认的ib_logfile0和ib_logfile1。
在日志组中每个重做日志文件的大小一致,并以循环写入的方式运行。
InnoDB存储引擎先写入重做日志文件1,当文件被写满时,会切换到重做日志文件2,
再当重做日志文件2也被写满时,再切换到重做日志文件1。

d、如何设置重做日志文件大小?
用户可以使用innodb_log_file_size来设置(my.cnf)重做日志文件的大小,
这对InnoDB存储引擎的性能有着非常大的影响。

如果重做日志文件设置的太大,数据丢失时,恢复时可能需要很长的时间;
另一方面,
如果设置的太小,重做日志文件太小会导致依据checkpoint的检查需要频繁刷新脏页到磁盘中,导致性能的抖动。

(2)系统表空间和用户表空间

数据库进阶(2)——MySQL架构(2)_第4张图片

数据库进阶(2)——MySQL架构(2)_第5张图片
a、系统表空间存储哪些数据?
系统表空间是一个共享的表空间,因为它是被多个表共享的。
InnoDB系统表空间包含InnoDB数据字典(元数据以及相关对象)、double write buffer、change buffer、undo logs的存储区域。
系统表空间也默认包含任何用户在系统表空间创建的表数据和索引数据。

b、系统表空间配置解析
系统表空间是由一个或者多个数据文件组成。
默认情况下,一个初始大小为10MB,名为ibdata1的系统数据文件在MySQL的data目录下被创建。
用户可以使用 innodb_data_file_path 对数据文件的大小和数量进行配置。
innodb_data_file_path 的格式如下:

innodb_data_file_path=datafile1[,datafile2]...

示例(这里将/db/ibdata1和/dr2/db/ibdata2两个文件组成系统表空间):

innodb_data_file_path=/db/ibdata1:1000M;/dr2/db/ibdata2:1000M:autoextend

如果这两个文件位于不同的磁盘上,磁盘的负载可能被平均,因此可以提高数据库的整体性能。
两个文件的文件名之后都跟了属性,
表示文件ibdata1的大小为1000MB,文件ibdata2的大小为1000MB,
而且用完空间之后可以自动增长(autoextend)。

c、如何使用用户表空间?
如果设置了参数innodb_file_per_table
则用户可以将每个基于InnoDB存储引擎的表产生一个独立的用户表空间。
用户表空间的命名规则为:表名.ibd
通过这种方式,用户不用将所有数据都存放于默认的系统表空间中。

d、用户表空间存储哪些数据?
用户表空间只存储该表的数据、索引信息,其余信息还是存放在默认的系统表空间中。

(3)InnoDB逻辑存储结构

InnoDB存储引擎逻辑存储结构可分为五级:表空间、段、区、页、行
数据库进阶(2)——MySQL架构(2)_第6张图片

a、表空间
从InnoDB存储引擎的逻辑存储结构看,所有数据都被逻辑地存放在一个空间中,称之为表空间(tablespace)。
从功能上来看,InnoDB存储引擎的表空间分为系统表空间,独占表空间,通用表空间,临时表空间,Undo表空间。
如果开启了独立表空间innodb_file_per_table=1,每张表的数据都会存储到一个独立的表空间,即一个单独的.ibd文件。
InnoDB 存储引擎有一个共享表空间,叫做系统表空间,对一个磁盘上的文件名为ibdata1。
如果设置了参数innodb_file_per_table=0,关闭了独占表空间,则所有基于InnoDB存储引擎的表数据都会记录到系统表空间。

b、段
表空间是由各个段组成的,常见的段有数据段、索引段、回滚段等。
如果开启了独立表空间innodb_file_per_table=1,每张表的数据都会存储到一个独立的表空间,即一个单独的.ibd文件。
一个用户表空间里面由很多个段组成,创建一个索引时会创建两个段:数据段和索引段。
数据段存储着索引树中叶子节点的数据。
索引段存储着索引树中非叶子节点的数据。
一个段会包含多个区,至少会有一个区,段扩展的最小单位是区。

c、区
一个区由64个连续的页组成,一个区的大小=1M=64个页(16K)。
为了保证区中页的连续性,区扩展时InnoDB 存储引擎会一次性从磁盘申请4 ~ 5个区。

d、页
InnoDB 每个页默认大小时是 16KB,页是 InnoDB管理磁盘的最小单位,也InnoDB中磁盘和内存交互的最小单位。

show global variables like 'innodb_page_size';

索引树上一个节点就是一个页,MySQL规定一个页上最少存储2个数据项。
如果向一个页插入数据时,这个页已将满了,就会从区中分配一个新页。
如果向索引树叶子节点中间的一个页中插入数据,如果这个页是满的,就会发生页分裂。
操作系统管理磁盘的最小单位也是页,是操作系统读写磁盘最小单位,Linux中页一般是4K,可以通过命令查看。

#默认 4096 4K
> getconf PAGE_SIZE

所以InnoDB从磁盘中读取一个数据页时,操作系统会分4次从磁盘文件中读取数据到内存。
写入也是一样的,需要分4次从内存写入到磁盘中
数据库进阶(2)——MySQL架构(2)_第7张图片

e、行
InnoDB的数据是以行为单位存储的,1个页中包含多个行。
在MySQL5.7中,InnoDB提供了4种行格式:Compact、Redundant、Dynamic和Compressed行格式,
Dynamic为MySQL5.7默认的行格式。
InnoDB行格式官网

创建表时可以指定行格式:

CREATE TABLE t1 (c1 INT) ROW_FORMAT=DYNAMIC;
ALTER TABLE tablename ROW_FORMAT=行格式名称;
#修改默认行格式
SET GLOBAL innodb_default_row_format=DYNAMIC;
#查看表行格式
SHOW TABLE STATUS LIKE 'student'\G;

4、InnoDB内存结构

数据库进阶(2)——MySQL架构(2)_第8张图片

(1)Buffer Pool缓冲池(存数据)

概述
InnoDB存储引擎是基于磁盘存储的,并将其中的记录按照页的方式进行管理。
但是由于CPU速度和磁盘速度之间的鸿沟,基于磁盘的数据库系统通常使用缓冲池记录来提高数据库的的整体性能。
所以,缓冲池的大小直接影响着数据库的整体性能,可以通过配置参数 innodb_buffer_pool_size 来设置。

具体来看,缓冲池中缓存的数据页类型有:
索引页、数据页、undo页、插入缓冲(insert buffer)、数据字典信息(data dictionary)、
自适应哈希索引(adaptive hash index)、InnoDB存储的锁信息(lock info)。

在架构图上可以看到,InnoDB存储引擎的内存区域除了有缓冲池之外,还有重做日志缓冲和额外内存池。
InnoDB存储引擎首先将重做日志信息先放到这个缓冲区中,然后按照一定频率将其刷新到重做日志文件中。
重做日志缓冲一般不需要设置的很大,该值可由配置参数 innodb_log_buffer_size 控制。

a、数据页和索引页
InnoDB存储引擎工作时,需要以Page页为最小单位去将磁盘中的数据加载到内存中,
与数据库相关的所有内容都存储在Page结构里。
Page分为几种类型,数据页和索引页就是其中最为重要的两种类型。
更新缓冲(插入缓冲):主要针对次要索引的数据插入存在的问题而设计。
在InnoDB引擎上进行插入操作时,一般需要按照主键顺序进行插入,这样才能获得较高的插入性能。
当一张表中存在次要索引时,在插入时,数据页的存放还是按照主键进行顺序存放,
但是对于次要索引叶节点的插入不再是顺序的了,这时就需要离散的访问次要索引页,
由于随机读取的存在导致插入操作性能下降。

InnoDB为此设计了Change Buffer来进行插入优化。
对于次要索引的插入或者更新操作,不是每一次都直接插入到索引页中,
而是先判断插入的非主键索引是否在缓冲池中,
若在,则直接插入;若不在,则先放入到一个Change Buffer中。
看似数据库这个非主键的索引已经插到叶节点,而实际没有,这时存放在另外一个位置。
然后再以一定的频率和情况进行Change Buffer和非聚簇索引页子节点的合并操作。
这时通常能够将多个插入合并到一个操作中,这样就大大提高了对于非聚簇索引的插入性能。

b、自适应哈希索引
InnoDB会根据访问的频率和模式,为热点页建立哈希索引,来提高查询效率。
哈希(hash)是一种非常快的查找方法,在一般情况下这种查找的时间复杂度为O(1),即一般仅需要一次查找就能定位数据。
而B+树的查找次数,取决于B+树的高度,在生产环境中,B+树的高度一般为3-4层,故需要3~4次的查询。
InnoDB存储引擎会监控对表上各索引页的查询。
如果观察到建立哈希索引可以带来速度提升,则建立哈希索引,称之为自适应哈希索引(Adaptive Hash Index,AHI)
AHI是通过缓冲池的B+树页构造而来,因此建立的速度很快,而且不需要对整张表构建哈希索引。
InnoDB存储引擎会自动根据访问的频率和模式来自动地为某些热点页建立哈希索引。
AHI有一个要求,即对这个页的连续访问模式必须是一样的。例如对于(a,b)这样的联合索引页,其访问模式可以是以下情况:
WHERE a=xxx
WHERE a= xxx and b=xxx
访问模式一样指的是査询的条件一样,若交替进行上述两种查询,那么 InnoDB存储引擎不会对该页构造AH此外AH还有如下的要求:
以该模式访问了100次
页通过该模式访问了N次,其中N=页中记录*1/16
根据 InnoDB存储引擎官方的文档显示,启用AHI后,读取和写入速度可以提高2倍,辅助索引的连接操作性能可以提高5倍。
毫无疑问,AHI是非常好的优化模式,其设计思想是数据库自优化的(self-tuning),即无需DBA对数据库进行人为调整。
可以通过参数innodb_adaptive_hash_index来考虑禁用或启动此特性,默认是开启状态。

c、锁信息
InnoDB存储引擎会在行级别上对表数据进行上锁。
不过InnoDB也会在数据库内部其他很多地方使用锁,从而允许对多种不同资源提供并发访问。
数据库系统使用锁是为了支持对共享资源进行并发访问,提供数据的完整性和一致性。

d、数据字典信息
InnoDB有自己的表缓存,可以称为表定义缓存或者数据字典(Data Dictionary)。
当InnoDB打开一张表,就增加一个对应的对象到数据字典。
数据字典是对数据库中的数据、库对象、表对象等的元信息的集合。
在MySQL中,数据字典信息内容就包括表结构、数据库名或表名、字段的数据类型、视图、索引、表字段信息、存储过程、触发器等内容。MySQL INFORMATION_SCHEMA库提供了对数据局元数据、统计信息、以及有关MySQL server的访问信息
例如:数据库名或表名,字段的数据类型和访问权限等。
该库中保存的信息也可以称为MySQL的数据字典

(2)额外内存池(Addtionalmemory pool)

额外内存池是InnoDB存储引擎用来存放数据字典信息以及一些内部数据结构的内存空间
控制参数为:(注:此参数在 MySQL 5.7.4 中移除)

innodb_additional_mem_pool_size

(3)Redo log Buffer重做日志缓冲(存备份)

数据库进阶(2)——MySQL架构(2)_第9张图片
如上图所示,InnoDB在缓冲池中变更数据时,会首先将相关变更写入重做日志缓冲中,
然后再按时或者当事务提交时写入磁盘,这符合Force-log-at-commit原则
Force-log-at-commit原则:
保证的是redo log buffer在事务提交的时候,一定要写入到磁盘中的redo log文件中。

当重做日志写入磁盘后,缓冲池中的变更数据才会依据checkpoint机制择时写入到磁盘中,这符合WAL原则
WAL(预写日志)原则:
保证的是数据在修改之前,先要写入redo log buffer里面(顺序写效率高于随机写)

在checkpoint择时机制中,就有重做日志文件写满的判断,所以,如前文所述,
如果重做日志文件太小,经常被写满,就会频繁导致checkpoint将更改的数据写入磁盘,导致性能抖动。
操作系统的文件系统是带有缓存的,当InnoDB向磁盘写入数据时,有可能只是写入到了文件系统的缓存中,没有真正的“落袋为安”。

(4)内存数据落盘

insert\update\delete等写操作产生的新数据要写入磁盘。
写操作的发生,首先要先将磁盘数据【读入内存】中,在内存中进行修改等操作,等着操作完成,需要将修改的数据,再次写入到磁盘中

a、整体思路分析
数据库进阶(2)——MySQL架构(2)_第10张图片

InnoDB内存缓冲池中的数据page要完成持久化的话,是通过两个流程来完成的:
一个是脏页落盘;一个是预写redo log日志。
当缓冲池中的页的版本比磁盘要新时,数据库需要将新版本的页从缓冲池刷新到磁盘。
但是如果每次一个页发送变化,就进行刷新,那么性能开发是非常大的,
于是InnoDB采用了Write Ahead Log(WAL)策略和Force Log at Commit机制实现事务级别下数据的持久性。

WAL要求数据的变更写入到磁盘前,首先必须将内存中的日志写入到磁盘Force-log-at-commit要求当一个事务提交时,所有产生的日志都必须刷新到磁盘上,如果日志刷新成功后,缓冲池中的数据刷新到磁盘前数据库发生了宕机,那么重启时,数据库可以从日志中恢复数据。

为了确保每次日志都写入到重做日志文件,在每次将重做日志缓冲写入重做日志后,
必须调用一次fsync操作,将缓冲文件从文件系统缓存中真正写入磁盘。
可以通过 innodb_flush_log_at_trx_commit 来控制重做日志刷新到磁盘的策略。

b、脏页落盘
在数据库中进行读取操作,将从磁盘中读到的页放在缓冲池中,下次再读相同的页时,首先判断该页是否在缓冲池中。
若在缓冲池中,称该页在缓冲池中被命中,直接读取该页。否则,读取磁盘上的页。
对于数据库中页的修改操作,则首先修改在缓冲池中的页,然后再以一定的频率刷新到磁盘上。
页从缓冲池刷新回磁盘的操作并不是在每次页发生更新时触发,而是通过一种称为CheckPoint的机制刷新回磁盘。

c、重做日志落盘
那Log Buffer什么时候写入到redo log?
Log Buffer写入磁盘的时机,由参数 innodb_flush_log_at_trx_commit 控制,默认是 1,表示事务提交后立即落盘。
https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_inn
odb_flush_log_at_trx_commit

show VARIABLES like ‘innodb_flush_log_at_trx_commit’;

InnoDB的innodb_flush_log_at_trx_commit属性可以控制每次事务提交时InnoDB的行为。

当属性值为0时,事务提交时,不会对重做日志进行写入操作,而是等待主线程按时写入每秒写入一次;
当属性值为1时,事务提交时,会将重做日志写入文件系统缓存,并且调用文件系统的fsync,将文件系统缓冲中的数据真正写入磁盘存储,确保不会出现数据丢失;
当属性值为2时,事务提交时,也会将日志文件写入文件系统缓存,但是不会调用fsync,而是让文件系统自己去判断何时将缓存写入磁盘。
innodb_flush_log_at_trx_commit是InnoDB性能调优的一个基础参数,涉及InnoDB的写入效率和数据安全。当参数值为0时,写入效率最高,但是数据安全最低;参数值为1时,写入效率最低,但是数据安全最高;参数值为2时,二者都是中等水平。一般建议将该属性值设置为1,以获得较高的数据安全性,而且也只有设置为1,才能保证事务的持久性。

日志的刷盘机制如下图所示
数据库进阶(2)——MySQL架构(2)_第11张图片

(5)CheckPoint检查点机制

如果重做日志可以无限地增大,同时缓冲池也足够大,那么是不需要将缓冲池中页的新版本刷新回磁盘。
因为当发生宕机时,完全可以通过重做日志来恢复整个数据库系统中的数据到宕机发生的时刻。

Checkpoint(检查点)技术目的是解决以下几个问题:
1、缩短数据库的恢复时间;
2、缓冲池不够用时,将脏页刷新到磁盘;
3、重做日志不可用时,刷新脏页。

当数据库发生宕机时,数据库不需要重做所有的日志,因为Checkpoint之前的页都已经刷新回磁盘。
数据库只需对Checkpoint后的重做日志进行恢复,这样就大大缩短了恢复的时间。
当缓冲池不够用时,根据LRU算法会溢出最近最少使用的页,
若此页为脏页,那么需要强制执行Checkpoint,将脏页也就是页的新版本刷回磁盘。

当重做日志出现不可用时,因为当前事务数据库系统对重做日志的设计都是循环使用的,并不是让其无限增大的。
重做日志可以被重用的部分是指这些重做日志已经不再需要,
当数据库发生宕机时,数据库恢复操作不需要这部分的重做日志,因此这部分就可以被覆盖重用。
如果重做日志还需要使用,那么必须强制Checkpoint,将缓冲池中的页至少刷新到当前重做日志的位置。

对于InnoDB存储引擎而言,是通过LSN(Log Sequence Number)来标记版本的。
LSN是8字节的数字,每个页有LSN,重做日志中也有LSN,Checkpoint也有LSN。
可以通过命令 SHOW ENGINE INNODB STATUS 来观察:

mysql> show engine innodb status \G
---
LOG
---
Log sequence number 9849834
Log flushed up to 9849834
Pages flushed up to 9849834
Last checkpoint at 9849825
0 pending log flushes, 0 pending chkp writes
19 log i/o's done, 0.00 log i/o's/second

Checkpoint分类
在InnoDB存储引擎内部,有两种Checkpoint,分别为:
Sharp Checkpoint(清晰检查点):在正常关闭数据库的时候,将buffer pool中的脏页全部刷新到磁盘中。
Fuzzy Checkpoint(模糊检查点):数据库正常运行时,在不同的时机,将部分脏页写入磁盘。仅刷新部分脏页到磁盘,也是为了避免一次刷新全部的脏页造成的性能问题。

Fuzzy Checkpoint:
1、Master Thread Checkpoint;(定时flush)
2、FLUSH_LRU_LIST Checkpoint;(buffer pool中空闲页不够)
3、Async/Sync Flush Checkpoint;(redo log)
4、Dirty Page too much Checkpoint (buffer pool中脏页太多)

分别来看:
1、Master Thread Checkpoint
在Master Thread中,会以每秒或者每10秒一次的频率,将部分脏页从内存中刷新到磁盘,这个过程是异步的。
正常的用户线程对数据的操作不会被阻塞。

2、FLUSH_LRU_LIST Checkpoint
FLUSH_LRU_LIST checkpoint是在单独的page cleaner线程中执行的。
MySQL对缓存的管理是通过buffer pool中的LRU列表实现的,
LRU 空闲列表中要保留一定数量的空闲页面,来保证buffer pool中有足够的空闲页面来相应外界对数据库的请求。
当这个空间页面数量不足的时候,发生FLUSH_LRU_LIST checkpoint。
空闲页的数量由innodb_lru_scan_depth参数表来控制的,
因此在空闲列表页面数量少于配置的值的时候,会发生checkpoint,剔除部分LRU列表尾端的页面。
数据库进阶(2)——MySQL架构(2)_第12张图片
3、Async/Sync Flush Checkpoint
Async/Sync Flush checkpoint是在单独的page cleaner线程中执行的。
Async/Sync Flush checkpoint 发生在重做日志不可用的时候,将buffer pool中的一部分脏页刷新到磁盘中,
在脏页写入磁盘之后,事务对应的重做日志也就可以释放了。
关于redo_log文件的的大小,可以通过 innodb_log_file_size 来配置。
数据库进阶(2)——MySQL架构(2)_第13张图片
对于是执行Async Flush checkpoint还是Sync Flush checkpoint,
由 checkpoint_age 以及 async_water_mark 和 sync_water_mark 来决定。

##即checkpoint_age等于最新的lsn减去已经刷新到磁盘的lsn的值
checkpoint_age = redo_lsn-checkpoint_lsn
async_water_mark = 75%*innodb_log_file_size
sync_water_mark = 90%*innodb_log_file_size

1.当checkpoint_age 也就说,redo log剩余空间超过25%的时候,无需执行Async/Sync Flush checkpoint。
2.当async_water_mark 也就说,redo log剩余空间不足25%,但是大于10%的时候,执行Async Flush checkpoint,刷新到满足条件1
3.当checkpoint_age>sync_water_mark的时候,执行sync Flush checkpoint。
也就说,redo log剩余空间不足10%的时候,执行Sync Flush checkpoint,刷新到满足条件1。

在mysql 5.6之后,不管是Async Flush checkpoint还是Sync Flush checkpoint,都不会阻塞用户的查询进程。

4、Dirty Page too much
Dirty Page too much Checkpoint是在Master Thread 线程中每秒一次的频率实现的。
Dirty Page too much 意味着buffer pool中的脏页过多,执行checkpoint脏页刷入磁盘,保证buffer pool中有足够的可用页面。
Dirty Page 由innodb_max_dirty_pages_pct配置,innodb_max_dirty_pages_pct的默认值在innodb 1.0之前是90%,之后是75%
数据库进阶(2)——MySQL架构(2)_第14张图片

(6)Double Write双写

如果说Insert Buffer给InnoDB存储引擎带来了性能上的提升
那么Double Write带给InnoDB存储引擎的是数据页的可靠性。
数据库进阶(2)——MySQL架构(2)_第15张图片

如上图所示,Double Write由两部分组成,
一部分是内存中的double write buffer,大小为2MB,
另一部分是物理磁盘上共享表空间连续的128个页,大小也为2MB。

在对缓冲池的脏页进行刷新时,并不直接写磁盘,
而是通过memcpy函数将脏页先复制到内存中的double write buffer区域,
之后通过double write buffer再分两次,每次1MB顺序地写入共享表空间的物理磁盘上,
然后马上调用fsync函数,同步磁盘,避免操作系统缓冲写带来的问题。
在完成double write页的写入后,再讲double wirite buffer中的页写入各个表空间文件中。
如果操作系统在将页写入磁盘的过程中发生了崩溃,
在恢复过程中,InnoDB存储引擎可以从共享表空间中的double write中找到该页的一副本,将其复制到表空间文件中,再应用重做日志

总结

一、MySQL的物理文件

1、数据文件

datadir /var/lib/mysql

索引文件

记录文件

2、日志文件

慢查询日志

binlog日志

错误日志

通用查询日志

3、MySQL的软件架构

(1)server层

连接器

分配连接
管理连接池

分析器

词法分析
语法分析

优化器

优化SQL语句(优化索引)
选择合适的查询计划(考虑性能)

执行器

(2)存储引擎层(可插拔式)

MyISAM
InnoDB(默认)

4、MySQL执行流程

5、MySQL存储引擎

(1)MyISAM(插入效率高)

(2)InnoDB存储引擎(支持事务、行锁)

物理结构

系统表空间:索引、数据、回滚、双写、词典
表空间——段——区(1M)——页(16k)——行(每页至少两行)

用户表空间(InnoDB:.ibd文件):索引、数据

redo log(持久化):为了保证事务的持久性。只有发生了数据错误,才发生作用,否则它一直都是保底方案。

内存结构

Buffer Pool:data page、Index page、changc buffer、自适应hash、词典

Redo log Buffer

你可能感兴趣的:(数据库,mysql,sql,数据库)