Mysql总结

Mysql知识框架.png

1.执行原理

今天我们来说说mysql,作为目前使用最为广泛的数据库,mysql中有很多值得我们深挖的技术和思想。
首先,先来聊聊一条sql语句是如何运行的。


sql执行原理.png

①与MySQL建立的数据库连接线程发起读取请求
②SQL接口处理发送过来的SQL语句
③SQL解释器解析SQL
④查询优化器查找最优路径
⑤执行器执行计划
⑥存储引擎执行SQL语句
这就是一条SQL语句进入数据库之后的执行流程,这里需要注意的是,在我们的数据库中,会先从内存中寻找数据,如果在内存中没有发现目标数据,再从磁盘中寻找数据;那么问题又来了,数据库是如何把数据加载进内存中的呢?以及它又是如何快速查找数据的呢?
带着这些问题,我们接着往下看!

2.执行引擎

这里我们主要讲两种引擎,在面试过程中,一般情况也只会涉及这两种引擎,其他的引擎(如Memory、Archive、Federated),感兴趣的可以做相关了解

1.MyIASM引擎

这个是MySQl默认的执行引擎,它支持全文索引,但是不支持数据库事务,也不支持行级锁。所以,对于查询业务来说,效率极高。反之,对于插入和更新操作,由于是表锁,效率相对来说较慢。

2.InnoDB引擎

前方高能!!!(重点了解)
作为最为常用的数据库引擎,InnoDB引擎有很多特性值得我们了解。在讲它底层存储结构之前,我们必须先了解一下数据是如何读取进入内存的。

Buffer Pool:可以看做是数据库的内存组件,里面缓存了磁盘上的真实数据,我们对数据库的增删改查操作,其实就是对这个内存数据结构中数据的操作。

读取过程:数据库运行时,首先会向操作系统申请一片内存区域,一般指定innodb_buffer_pool_size参数,然后将数据加载进入这片内存区域,也就是Buffer Pool中,这里需要注意,放入时一般是以数据页的形式存放的,什么意思?简单来说,就是我们每一条数据会放在一页上面,这个数据页一般大小是16KB,数据页上一般包含一些页面描述信息,如所属表空间、数据页编号、所属内存地址位置等,在存放时会判断哪些数据页是空闲的(可以存储数据),这个时候就需要依靠一个名为——free链表的家伙,它是一个双向链表数据结构,当数据加载进来的时候,如果发现已经存在在数据页上了,则会直接找相应数据,如果没有的话,从free链表中找到一个空闲的缓存块,从磁盘中读取数据页进入缓存块,然后删除free链表中这个描述数据块。

淘汰机制:当数据不断加载进入buffer pool ,最终free链表没有空闲之后,这时如果还需要加载数据的话,就必须淘汰一些缓存数据了。那么InnoDB是怎样实现淘汰数据的呢?我们这里引入缓存命中率的概念,当一个数据经常性的被访问,做增删改查操作,我们称这条数据的缓存命中率很高,反之,则缓存命中率很低。我们已经知道,当数据加载进入缓存页时,先是在free中拿出一个空闲的缓存块存储需要加载的数据,当数据加载完这个缓存块,把它从free链表删除,此时,我们会这个缓存块的描述信息放入LRU链表,表示已经加载了数据的缓存页,这时就可以通过LRU链表执行我们的淘汰策略了。怎么执行呢?见名思义,当命中缓存页时,我们就将改缓存页放在LRU链表头部,由此可见,如果某些数据一直没有命中,自然而然就到了链表尾部了,当需要进行淘汰时,优先淘汰LRU链表尾部缓存页。

存在问题:MYSQL预读机制规定,当一个区的多个数据页加载进入buffer Pool时,这时MySQL认为后续数据页也需要加载进入缓存池,此时就会触发预读机制(这个机制是通过参数 innodb_random_read_ahead 来控制的,他默认是 OFF),把后面相邻的数据页都加载进入缓存中;但是这时如果遇上一个数据量较大的全表扫描,那么就会淘汰掉很多之前存在的热数据,显然,这种设计就显得不合理了

传统LRU链表改进与优化: 冷热数据分离
将LRU链表分为两部分,一部分是热数据,一部分是冷数据,冷热数据的比例是由 innodb_old_blocks_pct 参数控制的,默认是 37,在初次加载数据进入缓存页是,一般把缓存页放在冷数据头部,当规定时间内缓存命中,则提到热数据头部,由此,即可解决热数据被全部替换的问题。定时清理冷数据尾部的缓存页刷入磁盘。
此处,我们顺便讲解一下刷入磁盘的过程:当数据更新时,我们并不会第一时间将数据刷入磁盘中,而是将更新的数据写入redo.log日志文件中,然后通过redo.log二进制文件顺序写入磁盘,而在加载缓存页时,内存是进行随机读写数据的,顺序读写的性能是非常高的

3.索引

好了,终于讲到我们的重头戏了——索引
从上面所介绍的,不难发现我们的数据是存储在一页一页的数据页上的,相邻的数据页会采用双向链表的格式相互引用,然后数据页上根据主键大小存储一条条数据,每一行数据都会有指针指向下一行数据,那么我们是如何快速找到这些数据的呢?答案就是索引!而建立索引的物理结构就是B+树。所以,想了解索引,说白了,我们就是在研究这个B+树是如何一步一步建成的。接下来,需要介绍两个名词~

页目录:每个数据页都会有一个页目录,里面顺序存放了每行数据的主键以及对应存放数据的槽位。
索引页:每个数据页的页号,还有数据页中最小的主键值放在一起,组成了一个索引的目录。

有关数据页的名词其实还有一些,这里知道这两个足以帮助我们理解索引了。从这两个名词中不知道各位有没有发现一点什么呢?
对的,我们要查询数据,最粗鲁的办法无非就是遍历链表找到对应主键,但是现在,我们有了页目录,索引页这种有规律的顺序结构,我们是不是可以利用二分法来进行查询呢?到此,我们对索引应该有了一个清晰的概念。在这颗B+树的底部,也就是叶子节点,存放的便是我们所有的数据页,通过双向链表进行关联,往上,就是我们索引页了,索引页与数据页之间会有指针引用关联,当一个索引页存储不下时,这时就会进行也分裂,从树的角度来说,就是分裂节点。(脑海中是不是浮现一颗正在分裂节点的多叉索引树呢)

运用索引
说完这个索引树的建立过程,我们再来说说如何有效的利用索引
一般来说,我们在新增数据时,默认是以主键作为索引,这个是聚簇索引,当我们建新的索引时,会重新根据新的索引排序规则建立一颗索引树,但是这个索引属于二级索引。什么意思?就是说这个索引树可以运用索引查找到你想要的数据对应的主键,然后我们拿着这个主键再进行回表查找到整条数据。
索引使用规则:
①基于等号匹配,一定会用上索引
②最左侧列匹配
③最左前缀匹配原则
④前置%无法利用索引

原则:尽可能的保证每一条SQL都可以用上索引,使用基数比较大的字段。

4.MVCC机制

通过索引,我们可以快速找到我们想要的数据,那么问题又来了,数据是得到了,但是当有多个事务(线程)同时都想同一资源,这时又会出现什么情况,以及我们又是如何解决这些情况的呢?
首先,我们讨论多线程读取数据出现的情况:
1.脏读——事务A读取事务B修改的数据,此时事务B还未提交事务并且产生回滚,事务A再次读取数据时,发现数据为NULL
2.幻读——事务A查询语句,结果集为十条数据,同时事务B插入两条数据,A再次查询时发现十二条数据
3.不可重复读——事务A执行查询语句,同时事务B、C对该数据进行修改,(前提——读已提交事务)事务A再次查询,发现结果不一致
由此,我们的设计人员提出了MVCC(多版本并发控制机制),专门处理多个事务并发运行引起的问题。这里,我们还有必要介绍一下SQL标准对事务的4个隔离级别,分别是:
read uncommitted ——读未提交
read committed ——RC 读已提交
repeatable read ——RR 可重复读(MySQL默认隔离级别)
serializable ——串行化
虽然MYSQL默认级别是RR,但是这个RR和SQL标准中的有所不同,MYSQL的RR级别下是不会发生脏写,脏读,幻读,不可重复读的。下面我们具体分析一下其原理——MVCC机制
MVCC机制的实现主要包括以下几部分组件:
undo log日志链表——记录每一次事务的详细情况(主要包括数据、事务值、指向下一事务的指针),以链表形式存储
readview机制——对每一次事务生成一个数据快照(主要包括正在实行的事务数组、最大事务id+1,最小事务id,正在执行的事务id),在RR级别下,对于读操作,一个事务中只会产生一个readview(RC情况下每一次查询都会生成一个新的readview),所以,这就可以有效防止不可重复读了。
下面详细介绍一下undo log日志链表和readview快照是如何配合工作实现MVCC机制的!
话不多少~直接上图


MVCC实现原理.png

当事务A与实务B同时操作一条数据时,在事务未提交之前,我们会根据事务先后顺序,生成一个带事务id的版本链,也就是我们的undo log日志链表,首先,事务A执行读取操作生成readview快照,根据快照中的信息在undo log链表中遍历查找,发现txr_id = 70的这条数据是在事务A之后产生的,即不符合规则,以此类推,直到找到符合规则的那条undo log日志,即事务A的读取结果。

5.锁机制

MVCC机制可以解决脏读,幻读,不可重复读等情况,但是它处理不了脏写。这时候就需要一种锁机制来解决这个问题了。
脏写——多个事务同时更新同一行数据
锁,顾名思义,就是在事务进行更新的时候,我们对这条数据进行上锁,不允许其他人做更新操作,请注意!是更新操作。在这里,我们同样介绍两种锁:
共享锁:也叫读锁,简称S锁
排它锁:也叫写锁,简称X锁,互斥锁,独占锁
依靠锁机制,我们可以让多个事务更新一行数据是串行化,避免同时更新,在事务更新时,先判断该行数据是否上写锁,如果上锁,则进入等待直至解锁,唤醒该事务。如果没有,这个事务会创建一个锁(包含这个事务id和等待状态),然后把这个锁和这行数据进行关联。
这里,我们的读锁和写锁是不会互斥的,由mvcc机制也可以看出,在事务更新时,我们的读取操作可以在undo log日志上面进行,也就是说,mvcc可以解决频繁加锁互斥的问题

6.性能调优

1.书写SQL语句时尽量要利用索引
2.尽量写简单的SQL,复杂的逻辑用代码去实现
3.能单表连接尽量不要多表关联
4.能多表关联尽量不要写子查询
5.最好是选择主从架构
6.能读写分离最好读写分离

面试总结系列第二面——欢迎留言讨论,共同进步!

你可能感兴趣的:(Mysql总结)