锁在平时的工作中接触的比较少(InnDB帮我们做了不少事),所以这里在Java3y 的文章上加上了自己的理解。本文讲解了锁的分类、使用场景,当工作中碰到锁的问题能够有一个清楚的认识和判断。
1、锁的分类
在Mysql中的锁 看起来是很复杂的,因为有 一大堆的东西和名词:排它锁,共享锁,表锁,页锁,间隙锁,意向排它锁,意向共享锁,行锁,读锁,写锁,乐观锁,悲观锁,死锁。这些名词有的博客又直接写锁的英文的简写:X锁,S锁,IS锁,IX锁,MMVC…锁的相关知识又跟存储引擎,索引,事务的隔离级别都是关联的….
2、什么需要学习数据库锁知识
不少人在开发的时候,应该很少会注意到这些锁的问题,也很少会给程序加锁(除了库存这些对数量准确性要求极高的情况下)
一般也就听过常说的乐观锁和悲观锁,了解过基本的含义之后就没了。
定心丸:即使我们不会这些锁知识,我们的程序在一般情况下还是可以跑得好好的。因为这些锁数据库隐式帮我们加了。
- 1、对于
UPDATE、DELETE、INSERT
语句,InnoDB会自动给涉及数据集加排他锁(X) - 2、MyISAM在执行查询语句SELECT前,会自动给涉及的所有表加读锁,在执行更新操作(UPDATE、DELETE、INSERT等)前,会自动给涉及的表加写锁,这个过程并不需要用户干预
只会在某些特定的场景下才需要手动加锁,学习数据库锁知识就是为了:
- 1、能让我们在特定的场景下派得上用场;
- 2、更好把控自己写的程序;
- 3、在跟别人聊数据库技术的时候可以搭上几句话;
- 4、构建自己的知识库体系!在面试的时候不虚。
3、表锁简单介绍
首先,从锁的粒度,我们可以分成两大类:
表锁
-
- 开销小,加锁快;不会出现死锁;锁定力度大,发生锁冲突概率高,并发度最低;
行锁
-
- 开销大,加锁慢;会出现死锁;锁定粒度小,发生锁冲突的概率低,并发度高。
不同的存储引擎支持的锁粒度是不一样的:
- InnoDB行锁和表锁都支持!
- MyISAM只支持表锁!
InnoDB只有通过索引条件检索数据才使用行级锁,否则,InnoDB将使用表锁,也就是说,InnoDB的行锁是基于索引的!
3.1、表锁下又分为两种模式
表读锁(Table Read Lock
)和表写锁(Table Write Lock
)。
- 从下图可以清晰看到,在表读锁和表写锁的环境下:读读不阻塞,读写阻塞,写写阻塞!
- 读读不阻塞:当前用户在读数据,其他的用户也在读数据,不会加锁
- 读写阻塞:当前用户在读数据,其他的用户不能修改当前用户读的数据,会加锁!
- 写写阻塞:当前用户在修改数据,其他的用户不能修改当前用户正在修改的数据,会加锁!
- 如果某个进程想要获取读锁,同时另外一个进程想要获取写锁。在mysql里边,写锁是优先于读锁的!
- 写锁和读锁优先级的问题是可以通过参数调节的:
max_write_lock_count
和low-priority-updates
值得注意的是:
The LOCAL modifier enables nonconflicting INSERT statements (concurrent inserts) by other sessions to execute while the lock is held. (See Section 8.11.3, “Concurrent Inserts”.) However, READ LOCAL cannot be used if you are going to manipulate the database using processes external to the server while you hold the lock. For InnoDB tables, READ LOCAL is the same as READ
- MyISAM可以支持查询和插入操作的并发进行。可以通过系统变量
concurrent_insert
来指定哪种模式,在MyISAM中它默认是:如果MyISAM表中没有空洞(即表的中间没有被删除的行),MyISAM允许在一个进程读表的同时,另一个进程从表尾插入记录。 - 但是InnoDB存储引擎是不支持的!
参考资料:
- https://dev.mysql.com/doc/refman/8.0/en/lock-tables.html
- http://ourmysql.com/archives/564
4、行锁细讲
上边简单讲解了表锁的相关知识,我们使用Mysql一般是使用InnoDB存储引擎的。InnoDB和MyISAM有两个本质的区别:
- InnoDB支持行锁
- InnoDB支持事务
从上面也说了:我们是很少手动加表锁的。表锁对我们程序员来说几乎是透明的,即使InnoDB不走索引,加的表锁也是自动的!
我们应该更加关注行锁的内容,因为InnoDB一大特性就是支持行锁!
InnoDB实现了以下两种类型的行锁。
- 共享锁(S锁):允许一个事务去读一行,阻止其他事务获得相同数据集的排他锁。
- 也叫做读锁:读锁是共享的,多个客户可以同时读取同一个资源,但不允许其他客户修改。
- 排他锁(X锁):允许获得排他锁的事务更新数据,阻止其他事务取得相同数据集的共享读锁和排他写锁。
- 也叫做写锁:写锁是排他的,写锁会阻塞其他的写锁和读锁。
看完上面的有没有发现,在一开始所说的:X锁,S锁,读锁,写锁,共享锁,排它锁其实总共就两个锁,只不过它们有多个名字罢了~~~
Intention locks do not block anything except full table requests (for example, LOCK TABLES … WRITE). The main purpose of intention locks is to show that someone is locking a row, or going to lock a row in the table.
另外,为了允许行锁和表锁共存,实现多粒度锁机制,InnoDB还有两种内部使用的意向锁(Intention Locks
),这两种意向锁都是表锁:
- 意向共享锁(IS):事务打算给数据行加行共享锁,事务在给一个数据行加共享锁前必须先取得该表的IS锁。
- 意向排他锁(IX):事务打算给数据行加行排他锁,事务在给一个数据行加排他锁前必须先取得该表的IX锁。
- 意向锁也是数据库隐式帮我们做了,不需要程序员操心!
参考资料:
https://www.zhihu.com/question/51513268
https://dev.mysql.com/doc/refman/8.0/en/innodb-locking.html
5、MVCC和事务的隔离级别
数据库事务有不同的隔离级别,不同的隔离级别对锁的使用是不同的,锁的应用最终导致不同事务的隔离级别
MVCC(Multi-Version Concurrency Control)
多版本并发控制,可以简单地认为:MVCC就是行级锁的一个变种(升级版)。
- 事务的隔离级别就是通过锁的机制来实现,只不过隐藏了加锁细节
- 在表锁中我们读写是阻塞的,基于提升并发性能的考虑,MVCC一般读写是不阻塞的(所以说MVCC很多情况下避免了加锁的操作)
-
MVCC
实现的读写不阻塞正如其名:多版本并发控制:通过一定机制生成一个数据请求时间点的一致性数据快照(Snapshot),并用这个快照来提供一定级别(语句级或事务级)的一致性读取。从用户的角度来看,好像是数据库可以提供同一数据的多个版本。
快照有两个级别:
- 语句级:针对于
Read committed
隔离级别; - 事务级别:针对于
Repeatable read
隔离级别。
我们在初学的时候已经知道,事务的隔离级别有4种:
1、Read uncommitted:会出现脏读,不可重复读,幻读;
2、Read committed:会出现不可重复读,幻读;
3、Repeatable read:会出现幻读(但在Mysql实现的Repeatable read配合gap锁不会出现幻读!);
4、Serializable:串行,避免以上的情况!
Read uncommitted
会出现的现象--->脏读:一个事务读取到另外一个事务未提交的数据
- 例子:A向B转账,A执行了转账语句,但A还没有提交事务,B读取数据,发现自己账户钱变多了!B跟A说,我已经收到钱了。A回滚事务【rollback】,等B再查看账户的钱时,发现钱并没有多。
- 出现脏读的本质就是因为操作(修改)完该数据就立马释放掉锁,导致读的数据就变成了无用的或者是错误的数据。
Read committed
避免脏读的做法其实很简单:
- 就是把释放锁的位置调整到事务提交之后,此时在事务提交前,其他进程是无法对该行数据进行读取的,包括任何操作
但Read committed
出现的现象--->不可重复读:一个事务读取到另外一个事务已经提交的数据,也就是说一个事务可以看到其他事务所做的修改
注:A查询数据库得到数据,B去修改数据库的数据,导致A多次查询数据库的结果都不一样【危害:A每次查询的结果都是受B的影响的,那么A查询出来的信息就没有意思了】
上面也说了,Read committed
是语句级别的快照!每次读取的都是当前最新的版本!
Repeatable read
避免不可重复读是事务级别的快照!每次读取的都是当前事务的版本,即使被修改了,也只会读取当前事务版本的数据。
呃…如果还是不太清楚,我们来看看InnoDB的MVCC是怎么样的吧(摘抄《高性能MySQL》)
至于虚读(幻读):是指在一个事务内读取到了别的事务插入的数据,导致前后读取不一致。
- 注:和不可重复读类似,但虚读(幻读)会读到其他事务的插入的数据,导致前后读取不一致
- MySQL的
Repeatable read
隔离级别加上GAP间隙锁已经处理了幻读了。
参考资料:
- https://www.jianshu.com/p/cb97f76a92fd
- https://www.zhihu.com/question/263820564
扩展阅读:
- https://www.zhihu.com/question/67739617
6、乐观锁和悲观锁
无论是Read committed
还是Repeatable read
隔离级别,都是为了解决读写冲突的问题。
单纯在Repeatable read
隔离级别下我们来考虑一个问题:
此时,用户李四的操作就丢失掉了:
- 丢失更新:一个事务的更新覆盖了其它事务的更新结果。
ps:暂时没有想到比较好的例子来说明更新丢失的问题,虽然上面的例子也是更新丢失,但一定程度上是可接受的..不知道有没有人能想到不可接受的更新丢失例子呢…
解决的方法:
- 使用Serializable隔离级别,事务是串行执行的!
- 乐观锁
- 悲观锁
1、乐观锁是一种思想,具体实现是,表中有一个版本字段,第一次读的时候,获取到这个字段。处理完业务逻辑开始更新的时候,需要再次查看该字段的值是否和第一次的一样。如果一样更新,反之拒绝。之所以叫乐观,因为这个模式没有从数据库加锁,等到更新的时候再判断是否可以更新。实现数据版本有两种方式,第一种是使用版本号,第二种是使用时间戳。****(如何实现乐观锁)
2、悲观锁是数据库层面加锁,都会阻塞去等待锁。
所以,按照上面的例子。我们使用悲观锁的话其实很简单(手动加行锁就行了):
select * from xxxx for update
在select
语句后边加了for update
相当于加了排它锁(写锁),加了写锁以后,其他的事务就不能对它修改了!需要等待当前事务修改完之后才可以修改.
也就是说,如果张三使用select … for update
,李四就无法对该条记录修改了~
乐观锁不是数据库层面上的锁,是需要自己手动去加的锁。一般我们添加一个版本字段来实现:
具体过程是这样的:
张三::select * from table
--->会查询出记录出来,同时会有一个version字段
李四:select * from table
--->会查询出记录出来,同时会有一个version字段
李四对这条记录做修改:update A set Name=lisi,version=version+1 where ID=#{id} and version=#{version}
,判断之前查询到的version
与现在的数据的version
进行比较,同时会更新version字段
此时数据库记录如下:
张三也对这条记录修改:update A set Name=lisi,version=version+1 where ID=#{id} and version=#{version}
,但失败了!因为当前数据库中的版本跟查询出来的版本不一致!
参考资料:
https://zhuanlan.zhihu.com/p/31537871---什么是悲观锁和乐观锁
https://www.zhihu.com/question/27876575---乐观锁和 MVCC 的区别?
7、间隙锁GAP
当我们用范围条件检索数据而不是相等条件检索数据,并请求共享或排他锁时,InnoDB会给符合范围条件的已有数据记录的索引项加锁;对于键值在条件范围内但并不存在的记录,叫做“间隙(GAP)”。InnoDB也会对这个“间隙”加锁,这种锁机制就是所谓的间隙锁。
值得注意的是:间隙锁只会在Repeatable read
隔离级别下使用~
事务加锁后锁住的是表记录的某一个区间,当表的相邻ID之间出现空隙则会形成一个区间,遵循左开右闭原则。
比如下面的表里面的数据ID 为 1,4,5,7,10 ,那么会形成以下几个间隙区间,-n-1区间,1-4区间,7-10区间,10-n区间 (-n代表负无穷大,n代表正无穷大)
间隙锁出现的条件:范围查询并且查询未命中记录,查询条件必须命中索引、间隙锁只会出现在REPEATABLE_READ(重复读)的事务级别中。
例如:对应上图的表执行select * from user_info where id>1 and id<4(这里的id是唯一索引) ,这个SQL查询不到对应的记录,那么此时会使用间隙锁。
间隙锁作用?
防止幻读问题,事务并发的时候,如果没有间隙锁,就会发生如下图的问题,在同一个事务里,A事务的两次查询出的结果会不一样。
例子:假如emp表中只有101条记录,其empid的值分别是1,2,…,100,101
Select * from emp where empid > 100 for update;
上面是一个范围查询,InnoDB不仅会对符合条件的empid值为101的记录加锁,也会对empid大于101(这些记录并不存在)的“间隙”加锁。
InnoDB使用间隙锁的目的有两个:
- 为了防止幻读(上面也说了,
Repeatable read
隔离级别下再通过GAP锁即可避免了幻读) - 满足恢复和复制的需要
- MySQL的恢复机制要求:在一个事务未提交前,其他并发事务不能插入满足其锁定条件的任何记录,也就是不允许出现幻读
并发的问题就少不了死锁,在MySQL中同样会存在死锁的问题。
但一般来说MySQL通过回滚帮我们解决了不少死锁的问题了,但死锁是无法完全避免的,可以通过以下的经验参考,来尽可能少遇到死锁:
- 1、以固定的顺序访问表和行。比如对两个job批量更新的情形,简单方法是对id列表先排序,后执行,这样就避免了交叉等待锁的情形;将两个事务的sql顺序调整为一致,也能避免死锁。
- 2、大事务拆小。大事务更倾向于死锁,如果业务允许,将大事务拆小。
- 3、在同一个事务中,尽可能做到一次锁定所需要的所有资源,减少死锁概率。
- 4、降低隔离级别。如果业务允许,将隔离级别调低也是较好的选择,比如将隔离级别从RR调整为RC,可以避免掉很多因为gap锁造成的死锁。
- 5、为表添加合理的索引。可以看到如果不走索引将会为表的每一行记录添加上锁,死锁的概率大大增大。
参考资料:
- http://hedengcheng.com/?p=771#_Toc374698322
- https://www.cnblogs.com/LBSer/p/5183300.html
8、死锁产生的必要产生条件
产生死锁必须同时满足以下四个条件:只要其中任意一条不成立,死锁就不会发生。
- 1、
互斥条件
:进程要求对分配的资源(如打印机)进行排他性控制,即在一段时间内某一资源仅为一个进程所占有。此时若有其他进程请求该资源,则请求进程只能等待。 - 2、
不可剥夺条件
:进程所获得的资源在未使用完毕之前,不能被其他进程强行夺走,即只能有该资源的进程自己来释放,只能是主动释放。 - 3、
请求和保持条件
:进程已经保持了一个资源,但又提出了新的资源请求,而该资源已经被其他进程占有,此时请求进程被阻塞,但对自己已获得的资源保持不放。 - 4、
循环等待条件
:存在一种进程资源的循环等待链,链中每一个进程已获得的资源同步被链中的下一个进程占有。
9、锁总结
上面说了一大堆关于MySQL数据库锁的东西,现在来简单总结一下。
表锁其实我们程序员是很少关心它的:
- 在MyISAM存储引擎中,当执行SQL语句的时候是自动加的。
- 在InnoDB存储引擎中,如果没有使用索引,表锁也是自动加的。
现在我们大多数使用MySQL都是使用InnoDB,InnoDB支持行锁:
- 共享锁--读锁--S锁
- 排它锁--写锁--X锁
在默认的情况下,select是不加任何行锁的~事务可以通过以下语句显示给记录集加共享锁或排他锁。
- 共享锁(S):
SELECT * FROM table_name WHERE … LOCK IN SHARE MODE
。 - 排他锁(X):
SELECT * FROM table_name WHERE … FOR UPDATE
。
InnoDB基于行锁还实现了MVCC多版本并发控制,MVCC在隔离级别下的Read committed
和Repeatable read
下工作。MVCC能够实现读写不阻塞!
InnoDB实现的Repeatable read
隔离级别配合GAP间隙锁已经避免了幻读!
- 乐观锁其实是一种思想,正如其名:认为不会锁定的情况下去更新数据,如果发现不对劲,才不更新(回滚)。在数据库中往往添加一个version字段来实现。
- 悲观锁用的就是数据库的行锁,认为数据库会发生并发冲突,直接上来就把数据锁住,其他事务不能修改,直至提交了当前事务
10、 参考资料
https://zhuanlan.zhihu.com/p/29150809--Mysql
https://blog.csdn.net/mysteryhaohao/article/details/51669741--MySQL
https://segmentfault.com/a/1190000015596126--MySQL
《高性能MySQL 第三版》
https://zhuanlan.zhihu.com/p/52312376
https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247484721&idx=1&sn=410dea1863ba823bec802769e1e6fe8a&chksm=ebd74430dca0cd265a9a91dcb2059e368f43a25f3de578c9dbb105e1fba0947e1fd0b9c2f4ef&token=1676899695&lang=zh_CN#rd