越努力,越幸运,
本文已收藏在GitHub中JavaCommunity, 里面有面试分享、源码分析系列文章,欢迎收藏,点赞
https://github.com/Ccww-lx/JavaCommunity
在面试中,基本上都会问到关于数据库的事务问题,如果啥都不会或者只回答到表面的上知识点的话,那面试基本上是没戏了,为了能顺利通过面试,那MySql的事务问题就需要了解,所以就根据网上的资料总结一版Mysql事务的知识点,巩固一下事务的知识。
事务是指逻辑上的一组操作,要么都执行,要么都不执行,
原子性(Atomicity
):事务是不可分割的工作单元,要么都成功,要么都失败, 如果事务中一个sql语句执行失败,则已执行的语句也必须回滚,数据库退回到事务前的状态。
一致性(Consistency
):事务不能破坏数据的完整性和业务的一致性 。例如在银行转账时,不管事务成功还是失败,双方钱的总额不变
隔离性(Isolation
):一个事务所操作的数据在提交之前,对其他事务的可见性设定(一般是不可见)
持久性(Durability
):事务提交之后,所做的修改就会永久保存,不会因为系统故障导致数据丢失
严格来说,只有同时满足数据库的事务ACID特性才能算一个完整的事务,但现实中实现能够真正满足的完整的事务特性少之又少,但是在实现中也必须尽量达到事务要求的特性。
那么事务ACID特性具体怎么实现的呢?我们来分析看看,首先先看看事务的特性。
Atomicity
)首先我们来看看事务的原子性特性,看看其如何实现的?
原子性(Atomicity
):事务是不可分割的工作单元,要么都成功,要么都失败, 如果事务中一个sql语句执行失败,则已执行的语句也必须回滚,数据库退回到事务前的状态
原子性(Atomicity
)的实现离不开 MySQL的事务日志 undo log
日志类型,当事务需要回滚的时候需要将数据库状态回滚到事务开始前,即需要撤销所有已经成功执行的sql语句。那么undo log
起了关键性作用:
当事务对数据库进行修改时,InnoDB会生成对应的undo log
;如果事务执行失败或调用了rollback
,导致事务需要回滚,便可以利用undo log
中的信息将数据回滚到修改之前的样子。
那么undo log
是什么呢?每个数据变更操作是怎么被记录下来的呢?
undo log
(回滚日志):是采用段(segment
)的方式来记录的,每个undo
操作在记录的时候占用一个undo log segment
。为什么会在数据更改操作的时候,记录了相对应的undo log
呢?其目的在于:
mvcc
+undo log
实现innodb事务可重复读和读取已提交隔离级别。其中,undo log
分为:
insert undo log
: insert
操作中产生的undo log
,update undo log
: 对delete
和update
操作产生的undo log
数据更改的undo log
怎么记录的呢?
因为insert
操作的记录,只对事务本身可见,对其他事务不可见。故该undo log
可以在事务提交后直接删除,不需要进行purge
操作,
而Delete
操作在事务中实际上并不是真正的删除掉数据行,而是一种Delete Mark操作,在记录上标识Delete_Bit
,而不删除记录。是一种"假删除",只是做了个标记,真正的删除工作需要后台purge
线程去完成。
update
分为两种情况:update
的列是否是主键列。
undo log
中直接反向记录是如何update
的。即update
是直接进行的。update
分两部执行:先删除该行,再插入一行目标行。与insert undo log
不同的,update undo log
日志,当事务提交的时候,innodb不会立即删除undo log
, 会将该事务对应的undo log
放入到删除列表中,未来通过purge
线程来删除。
因为后续还可能会用到undo log
,如隔离级别为repeatable read
时,事务读取的都是开启事务时的最新提交行版本,只要该事务不结束,该行版本就不能删除(即undo log
不能删除),且undo log
分配的页可重用减少存储空间和提升性能。
Note: purge线程两个主要作用是:清理undo页和清除page里面带有Delete_Bit标识的数据行。
接着我们来看看事务的隔离性,看看事务有哪些隔离级别,而且事务并发中会产生什么问题。
Isolation
)隔离性(Isolation
),是指事务内部的操作与其他事务是隔离的,并发执行的各个事务之间不能互相干扰 ,一个事务所操作的数据在提交之前,对其他事务的可见性设定(一般是不可见)。
而且数据库为了在并发下有效保证读取数据正确性,数据库提供了四种事务隔离级别>,分别为:
其中,不同的隔离级别可能会存在在不同并发问题>,主要并发问题包括:
不可重复读和幻读的区别?
不可重复读和幻读最大的区别,就在于如何通过锁机制来解决他们产生的问题,
使用锁机制来实现这两种隔离级别,在可重复读中,相同sql第一次读取到数据后就将这些数据加锁,其它事务无法更新操作这些数据来实现可重复读了隔离。
但这种处理方式却无法锁住insert的数据,因此会出现当事务A先前读取了数据,事务B再
insert
数据提交,结果发现事务A就会发现莫名其妙多了些数据,这就是幻读,不能通过行锁来避免 。
了解了并发问题后,来看看不同的隔离级别可能会存在在不同并发问题:
事务隔离级别 | 脏读 | 不可重复读 | 幻读 |
---|---|---|---|
读未提交 | 是 | 是 | 是 |
不可重复读 | 否 | 是 | 是 |
可重复读 | 否 | 否 | 是 |
串行化 | 否 | 否 | 否 |
为了实现事务隔离,延伸出了数据库锁。其中,innodb事务的隔离级别是由锁机制和MVCC(多版本并发控制)来实现的
那我们来先看看锁的原理,怎么使用锁来实现事务隔离的呢?
锁机制的基本工作原理,事务在修改数据之前,需要先获得相应的锁;获得锁之后,事务便可以修改数据;该事务操作期间,这部分数据是锁定的,其他事务如果需要修改数据,需要等待当前事务提交或回滚后释放锁,
MySQL主要分成三种类型(级别)的锁机制:
表级锁:最大颗粒度的锁机制,锁定资源争用的概率也会最高 ,并发度最低 ,但开销小,加锁快,不会出现死锁,
行级锁:最大颗粒度的锁机制很小, 发生锁定资源争用的概率也最小,能够给予应用程序尽可能大的并发处理能力而提高一些需要高并发应用系统的整体性能 ,但 开销大,加锁慢;会出现死锁 ,
页级锁: 开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般
而且不同的存储引擎支持不同的的锁机制,主要分析一下InnoDB锁。
InnoDB实现了以下两种类型的行锁
对于UPDATE
,DELETE
,INSERT
操作, InnoDB会自动给涉及及数据集加排他锁(X);对于普通SELECT语句,InnoDB不会加任何锁,
而且因为InnoDB引擎允许行锁和表锁共存,实现多粒度锁机制,使用意向锁实现表锁机制,
意向锁(IS、IX)是InnoDB数据操作之前自动加的,不需要用户干预。它的意义在于:当事务想去进行锁表时,可以先判断意向锁是否存在,存在时则可快速返回该表不能启用表锁,否则就需要等待,
其中,四种锁的兼容性如下
当前锁模式/是否兼容/请求锁模式 | X | IX | S | IS |
---|---|---|---|---|
X | 冲突 | 冲突 | 冲突 | 冲突 |
IX | 冲突 | 兼容 | 冲突 | 兼容 |
S | 冲突 | 冲突 | 兼容 | 兼容 |
IS | 冲突 | 兼容 | 兼容 | 兼容 |
如果一个事务请求的锁模式与当前的锁兼容,InnoDB就请求的锁授予该事务;反之,如果两者两者不兼容,该事务就要等待锁释放。
InnoDB的行锁是通过给索引上的索引项加锁来实现的。只有通过索引检索数据,才能使用行锁,否则将使用表锁(锁住索引的所有记录)
临键锁(next-key)
,可以防止幻读。根据索引,划分为一个个左开右闭的区间。当进行范围查询的时候,若命中索引且能够检索到数据,则锁住记录所在的区间和它的下一个区间,
其实,临键锁(Next-Key)=记录锁(Record Locks)+间隙锁(Gap Locks),
具体的使用体现在哪里呢?如下图所示:
利用锁解决脏读、不可重复读、幻读
X锁解决脏读
S锁解决不可重复读
临键锁解决幻读
Multiversion concurrency control
(MVCC
多版本并发控制)InnoDB
的MVCC
是通过在每行记录后面保存两个隐藏的列来实现的,一个保存了行的事务ID(事务ID就会递增 ),一个保存了行的回滚段的指针 。
每开始一个新的事务,都会自动递增产 生一个新的事务id。事务开始时刻的会把事务id放到当前事务影响的行事务id中,而DB_ROLL_PTR
表示指向该行回滚段的指针,该行记录上所有版本数据,在undo中都通过链表形式组织,该值实际指向undo中该行的历史记录链表,
在并发访问数据库时,对正在事务中的数据做MVCC多版本的管理,以避免写操作阻塞读操作,并且会通过比较版本解决幻读。
而且MVCC只在REPEATABLE READ
和READ COMMITIED
两个隔离级别下才会工作,其中,MVCC实现实质就是保存数据在某个时间点的快照来实现的。 那哪些操作是快照读?
快照读,innodb快照读,数据的读取将由 cache(原本数据) + undo(事务修改前的数据) 两部分组成
select
,比如 select * from table where ?
;当前读,SQL读取的数据是最新版本。通过锁机制来保证读取的数据无法通过其他事务进行修改
UPDATE
DELETE
INSERT
SELECT … LOCK IN SHARE MODE
SELECT … FOR UPDATE
其中当前读中,只有SELECT … LOCK IN SHARE MODE
对读取记录加S锁 (共享锁)外,其他的操作,都加的是X锁 (排它锁)。
那么在RR隔离级别下,MVCC具体是如何操作的。
SELECT操作,InnoDB遵循以后两个规则执行:
INSERT:InnoDB为新插入的每一行保存当前事务编号作为行版本号。
DELETE:InnoDB为删除的每一行保存当前事务编号作为行删除标识。
UPDATE:InnoDB为插入一行新记录,保存当前事务编号作为行版本号,同时保存当前事务编号到原来的行作为行删除标识>。
保存这两个额外系统版本号,使大多数读操作都可以不用加锁。这样设计使得读数据操作很简单,性能很好,并且也能保证只会读取到符合标准的行,不足之处是每行记录都需要额外的存储空间,需要做更多的行检查工作,以及一些额外的维护工作。
分析完了原子性和隔离性,我们继续看看事务的持久性。
Durability
)持久性(Durability
):事务提交之后,所做的修改就会永久保存,不会因为系统故障导致数据丢失,
而且其实现的关键在于redo log
, 在执行SQL时会保存已执行的SQL语句到一个指定的Log文件,当执行recovery
时重新执行redo log
记录的SQL操作。
那么redo log
如何实现的呢?
当向数据库写入数据时,执行过程会首先写入Buffer Pool,Buffer Pool中修改的数据会定期刷新到磁盘中(这一过程称为刷脏),这整一过程称为redo log。redo log 分为:
Buffer Pool的使用可以大大提高了读写数据的效率,但是也带了新的问题:如果MySQL宕机,而此时Buffer Pool中修改的数据在内存还没有刷新到磁盘,就会导致数据的丢失,事务的持久性无法保证。
为了确保事务的持久性,在当事务提交时,会调用fsync
接口对redo log
进行刷盘, (即redo log buffer
写日志到磁盘的redo log file
中 ),刷新频率由 innodb_flush_log_at_trx_commit
变量来控制的:
redo log有更加详细的解读,后续有时间再补上,到现在为止,已经将事务三个特性都理解了,那事务一致性呢?
Consistency
)一致性(Consistency
):事务不能破坏数据的完整性和业务的一致性 :
数据的完整性: 实体完整性、列完整性(如字段的类型、大小、长度要符合要求)、外键约束等
业务的一致性:例如在银行转账时,不管事务成功还是失败,双方钱的总额不变。
那是如何保证数据一致性的?
其实数据一致性是通过事务的原子性、持久性和隔离性来保证的
其中要同时满足ACID特性,这样的事务少之又少。实际中很多例子都只是满足一些特性,比如:
所以我们只能使用这个四个维度的特性去衡量事务的操作。
谢谢各位点赞,没点赞的点个赞支持支持
最后,微信搜《Ccww技术博客》可观看更多文章