MySQL学习笔记二：全局锁、表锁、MDL锁、行锁

     数据库锁设计的初衷是处理并发问题。作为多用户共享的资源，当出现并发访问的时候，数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。根据加锁的范围，MySQL 里面的锁大致可以分成全局锁、表级锁和行锁三类。

全局锁

全局锁就是对整个数据库实例加锁。可以通过命令 Flush tables with read lock (FTWRL) 对全局进行加锁，让整个库处于只读状态。

使用全局锁后，其他线程的以下语句会被阻塞：

• 数据更新语句（增删改）
• 数据定义语句（包括建表，修改表结构等）
• 更新类事务的提交语句。

全局锁的典型使用场景是，做全库逻辑备份。但如果直接用 FTWRL 去进行备份，会让整库都处于只读状态，这光想想就觉得危险。

• 如果在主库上备份，那么在备份期间都不能执行更新，业务基本停摆；
• 如果在从库上备份，那么备份期间从库不能执行从主库同步过来的binlog，会导致主从延迟。

那么不加锁备份数据库可以吗？答案是不可以的，比如你有两张表，余额表和商品表。如果不加锁，在备份期间时先备份余额表，再备份商品表会出现什么情况呢？假设在这两张表备份的间隔时间内进行了数据更新，则余额表数据在备份表中没有减少，但是商品表在备份表中的数据却减少了，造成了逻辑上的数据不一致问题。当然这两张表的备份顺序颠倒过来也是一样会有这个问题。

也就是说，不加锁的话，备份系统备份的得到的库表锁一个逻辑时间点，这个视图是逻辑不一致的。

       其实，在可重复读隔离级别下开启一个事务，也能够拿到一致性视图。

       官方自带的逻辑备份工具是 mysqldump 。当 mysqldump 使用参数 -single-transaction 时，备份数据之前会启动一个事务，来确保拿到一致性视图。而由于MVCC（多版本并发控制）的支持，这个过程中数据是可以正常更新的。

　　至此，为什么有了上述这个功能，还需要 FTWRL 呢？此处有个细节是：可重复读是很好，但并不是所有的MySQL引擎支持这个隔离级别的。（如 MyISAM 这种不支持事务的引擎，就需要执行 FTWRL 命令了。）所以，single-transaction方法只适用于所有的表使用事务引擎的库。如果有的表使用了不支持事务的引擎，那么备份就只能通过FTWRL的方法。

　　既然要保证备份时全库只读，为什么不使用 set global readonly = true 的方式呢？

不建议使用这种方式有以下两方面原因：

• 在有些系统中，readonly 的值会被用来处理其他逻辑，修改 global 变量的方式影响面更大。
• 在异常处理机制上的差异。执行 FTWRL 命令后如果客户端发生异常断开连接，那么 MySQL 会自动释放这个全局锁。而readonly=true 会保持数据库长时间处于只读状态。如果客户端发生异常，数据库一直保持 readonly 状态，这样会导致整个库长时间处于不可写状态，风险较高。

---

表级锁：

　　MySQL里面表级别的锁有两种：一种是表锁，一种是元数据锁（meta data lock，MDL）。

　　表锁的语法是 lock tables ... read/write。与 FTWRL 类似，可以用 unlock tables 主动释放锁，也可以在客户端断开的时候自动释放。需要注意的是，lock tables 语法除了会限制别的现成的读写外，也限定了本线程接下来的操作对象。在没有更细粒度的锁的时候，表锁是最常用的处理并发的方式。而对于 InnoDB 这种支持行锁的引擎，一般不使用 lock tables 命令来控制并发，毕竟锁住整个表的影响面还是太大。

举个例子, 如果在某个线程 A 中执行 lock tables t1 read, t2 write; 这个语句，则其他线程写 t1、读写 t2 的语句都会被阻塞。同时，线程 A 在执行 unlock tables 之前，也只能执行读 t1、 写 t2 的操作。连读 t2 都不允许，自然也不能访问其他表。

　　另一类表级锁MDL不需要显式使用。在访问一个表的时候会自动加上。它的作用是保证读写的正确性。如一个查询正在遍历一个表中的数据，而同时另一个线程对这个表结构做了变更，删了一列，那么查询线程拿到的结果就会和表结构对不上，肯定是不行的。因此，在MySQL5.5引入了MDL，当对一个表做增删改查操作的时候，加MDL读锁；当要对表结构变更时，加MDL写锁。

• 读锁之间不互斥，因此可以有多个线程同时对一张表增删改查。
• 读写锁之间，写锁之间是互斥的。以此来保证变更表结构操作的安全性。因此，如果有两个线程要同时给一个表加字段，其中一个要等另一个执行完才能开始执行。

虽然 MDL 锁是系统默认会加的，但这是不能忽略的一个机制。给一个表加字段，或者加索引，需要扫描全表的数据。在对大表操作时，一不小心很容易导致对线上服务造成影响。而实际上，对于小表，操作不慎也会出问题。如下面例子，假设表t是一个小表。

可以看到，sessionA 先启动，这时候会对表t加一个MDL读锁。由于 sessionB需要的也是MDL读锁，因此可以正常执行。之后sessionC会被blocked，是因为sessionA的MDL读锁还没有释放，而sessionC需要MDL写锁，因此只能被阻塞。

如果只有sessionC被阻塞还没有什么关系，但是之后所有要在表t上新申请MDL读锁的请求也会被sessionC阻塞。所有对表的增删查改都会申请MDL读锁，就都被锁住，等于这个表完全不可读写了。

如果某个表上的查询语句频繁，而且客户端有重试机制，这个库的线程很快就会爆满。

事务中的 MDL 锁，在语句执行开始时申请，但是语句结束后并不会马上释放，而会等到整个事务提交后再释放。

如何安全地给小表加字段？

首先我们要解决长事务，事务不提交，就会一直占着 MDL 锁。在 MySQL 的 information_schema 库的 innodb_trx 表中，你可以查到当前执行中的事务。如果你要做 DDL 变更的表刚好有长事务在执行，要考虑先暂停 DDL，或者 kill 掉这个长事务。

但考虑一下这个场景：如果你要变更的表是一个热点表，虽然数据量不大，但是上面的请求很频繁，而你不得不加个字段，你该怎么做呢

这时候 kill 可能未必管用，因为新的请求马上就来了。比较理想的机制是，在 alter table 语句里面设定等待时间，如果在这个指定的等待时间里面能够拿到 MDL 写锁最好，拿不到也不要阻塞后面的业务语句，先放弃。之后开发人员或者 DBA 再通过重试命令重复这个过程。

MariaDB 已经合并了 AliSQL 的这个功能，所以这两个开源分支目前都支持 DDL NOWAIT、WAIT n 这个语法。

ALTER TABLE tbl_name NOWAIT add column ...
ALTER TABLE tbl_name WAIT N add column ... 

　    另外，MDL会直到事务提交才释放，在做表结构变更的时候，一定要小心不要导致锁住线上查询和更新。

　　表级锁一般是在数据库引擎不支持行锁的时候才会被用到。如果发现应用程序里有 lock tables 这样的语句，需要追查一下，比较可能的情况是：

• 系统还在使用 MyISAM 这类不支持事务的引擎，需要安排升级更换引擎了
• 引擎升级了，但是代码还没有升级。这样把 lock tables 和 unlock tables 更换成 begin 和 commit ，问题就解决了。

用–single-transaction 方法做逻辑备份的过程中，如果主库上的一个小表做了一个 DDL，比如给一个表上加了一列。这时从备库上会看到什么现象呢？

Q1: SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;
Q2: START TRANSACTION WITH CONSISTENT SNAPSHOT；
/* other tables */
Q3: SAVEPOINT sp;
/* 时刻 1 */
Q4: show create table `t1`;
/* 时刻 2 */
Q5: SELECT * FROM `t1`;
/* 时刻 3 */
Q6: ROLLBACK TO SAVEPOINT sp;
/* 时刻 4 */
/* other tables */

在备份开始的时候，为了确保 RR（可重复读）隔离级别，再设置一次 RR 隔离级别 (Q1)

启动事务，这里用 WITH CONSISTENT SNAPSHOT 确保这个语句执行完就可以得到一个一致性视图（Q2)

设置一个保存点，这个很重要（Q3）

show create 是为了拿到表结构 (Q4)，然后正式导数据 （Q5），回滚到 SAVEPOINT sp，在 这里的作用是释放 t1 的 MDL 锁 （Q6）

DDL 从主库传过来的时间按照效果不同，假设有四个时刻。题目设定为小表，假定到达后，如果开始执行，则很快能够执行完成。

参考答案如下：

1. 如果在 Q4 语句执行之前到达，现象：没有影响，备份拿到的是 DDL 后的表结构。
2. 如果在“时刻 2”到达，则表结构被改过，Q5 执行的时候，报 Table definition has changed, please retry transaction，现象：mysqldump 终止
3. 如果在“时刻 2”和“时刻 3”之间到达，mysqldump 占着 t1 的 MDL 读锁，binlog 被阻塞，现象：主从延迟，直到 Q6 执行完成。
4. 从“时刻 4”开始，mysqldump 释放了 MDL 读锁，现象：没有影响，备份拿到的是 DDL 前的表结构。

---

行锁

MySQL 的行锁是在引擎层由各个引擎自己实现的。但并不是所有的引擎都支持行锁，比如 MyISAM 引擎就不支持行锁。不支持行锁意味着并发控制只能使用表锁，对于这种引擎的表， 同一张表上任何时刻只能有一个更新在执行，这就会影响到业务并发度。InnoDB 是支持行锁的，这也是 MyISAM 被 InnoDB 替代的重要原因之一。

顾名思义，行锁就是针对数据表中行记录的锁。这很好理解，比如事务 A 更新了一行，而这时事务 B 也要更新同一行，则必须等事务 A 的操作完成后才能进行更新。

在下面图中操作序列中，事务 B 的 update 语句会被阻塞，直到事务 A 执行 commit 之后，事务 B 才能继续执行。

也就是说，事务A持有的两个记录的行锁，都是在 commit 的时候才释放。

在 InnoDB 事务中，行锁是在需要的时候才加上的，但并不是不需要了就立刻释放，而是要等到事务结束时才释放。这个就是两阶段锁协议。

如果事务中需要锁多个行，要把最可能造成锁冲突、最可能影响并发度的锁尽量往后放。

死锁和死锁检测

当并发系统中不同线程出现循环资源依赖，涉及的线程都在等待别的线程释放资源时，就会导致这几个线程都进入无限等待的状态，称为死锁。

这时候，事务 A 在等待事务 B 释放 id=2 的行锁，而事务 B 在等待事务 A 释放 id=1 的行锁。 事务 A 和事务 B 在互相等待对方的资源释放，就是进入了死锁状态。当出现死锁以后，有两种策略：

1. 直接进入等待，直到超时。这个超时时间可以通过参数 innodb_lock_wait_timeout 来设置。
2. 发起死锁检测，发现死锁后，主动回滚死锁链条中的某一个事务，让其他事务得以继续执行。将参数 innodb_deadlock_detect 设置为 on，表示开启这个逻辑。

在 InnoDB 中，innodb_lock_wait_timeout 的默认值是 50s，意味着如果采用第一个策略，当出现死锁以后，第一个被锁住的线程要过 50s 才会超时退出，然后其他线程才有可能继续执行。对于在线服务来说，这个等待时间往往是无法接受的。

所以，正常情况下我们还是要采用第二种策略，即：主动死锁检测，而且 innodb_deadlock_detect 的默认值本身就是 on。主动死锁检测在发生死锁的时候，是能够快速发现并进行处理的，但是它也是有额外负担的。

每个新来的被堵住的线程，都要判断会不会由于自己的加入导致了死锁，这是一个时间复杂度是 O(n) 的操作。假设有 1000 个并发线程要同时更新同一行，那么死锁检测操作就是 100 万这个量级的。虽然最终检测的结果是没有死锁，但是这期间要消耗大量的 CPU 资源。因此，你就会看到 CPU 利用率很高，但是每秒却执行不了几个事务。

怎么解决由这种热点行更新导致的性能问题呢？

问题的症结在于，死锁检测要耗费大量的 CPU 资源。

高并发热点/单点数据_性能问题解决方案

问题

如果你要删除一个表里面的前 10000 行数据，有以下三种方法可以做到： 第一种，直接执行 delete from T limit 10000; 第二种，在一个连接中循环执行 20 次 delete from T limit 500; 第三种，在 20 个连接中同时执行 delete from T limit 500。选择哪种方法？

• 第一种方式（即：直接执行 delete from T limit 10000）里面，加锁的数据行太多，单个语句占用时间长，锁的时间也比较长；而且大事务还会导致主从延迟。
• 可选，每次加锁数据不多，且在同一个客户端不存在额外的死锁检测的开销。
• 第三种方式（即：在 20 个连接中同时执行 delete from T limit 500），会人为造成锁冲突。

补充知识点博客链接：

MySQL 加锁处理分析

SQL--共享锁（S）和排它锁（X）之间不得不说的那些事！

悲观锁，乐观锁，行锁，表锁，页锁，共享锁，排他锁

SQL中的where条件，在数据库中提取与应用浅析