锁是计算机协调多个进程或线程并发访问某一资源的机制。 在数据库中,除传统的计算资源(CPU、RAM、I/O) 的争用以外,数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说,锁对数据库而言显得尤其重要,也更加复杂。
MySQL中的锁,按照锁的力度分,分为以下三类:
全局锁就是对整个数据库实例加锁,加锁后整个实例就处于只读状态,后续的DML的写语句,DDL语句,已经更新操作的事务提交语句都将被阻塞。
其典型的使用场景是做全库的逻辑备份,对所有的表进行锁定,从而获取一致性视图,保证数据的完整性。
一致性数据备份
mysqldump -uroot -p1234 itcast>itcast.sql
(换成自己的用户名与密码)
unlock tables;
特点
数据库中加全局锁,是一一个比较重的操作,存在以下问题:
在InnoDB引擎中,我们可以在备份时加上参数–single-transaction参数来完成不加锁的-致性数据备份。
mysqldump --single-transaction -uroot -p123456 itcast>itcast.sql
表级锁,每次操作锁住整张表。锁定粒度大,发生锁冲突的概率最高,并发度最低。应用在MyISAM、 InnoDB、BDB等存储引擎中。
对于表级锁,主要分为以下三类:
对于表锁,分为两类:
语法:
MDL加锁过程是系统自动控制,无需显式使用,在访问一张表的时候会自动加上。
MDL锁主要作用是维护表元数据的数据一致性,在表上有活动事务的时候,不可以对元数据进行写入操作。
为了避免DML与RDL冲突,保证读写的正确性。
在MySQL5.5中引入了MDL,当对一张表 进行增删改查的时候,加MDL读锁(共享);当对表结构进行变更操作的时候,加MDL写锁(排他)。
对应SQL | 锁类型 | 说明 |
---|---|---|
lock tables xxx read / write | SHARED_READ_ONLY / SHARED NO_READ_WRITE | |
select、select … lock in share mode | SHARED_READ(共享读锁) | 与SHARED_READ、SHARED WRITE兼容,与EXCLUSIVE互斥 |
insert、update、 delete、 select … for update | SHARED_WRITE | 与SHARED_READ、SHARED_WRITE兼容 ,与EXCLUSIVE互斥 |
alter table … | EXCLUSIVE(排他锁) | 与其他的MDL都互斥 |
查看元数据锁:
select object_type,object_schema,object_name,lock_type,lock_duration from performance_schema.metadata_locks ;
为了避免DML在执行时,加的行锁与表锁的冲突,在InnoDB中引入了意向锁,使得表锁不用检查每行数据是否加锁,使用意向锁来减少表锁的检查。
可以通过以下SQL,查看意向锁及行锁的加锁情况:
select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;
行级锁,每次操作锁住对应的行数据。锁定粒度最小,发生锁冲突的概率最低,并发度最高。应用在InnoDB存储引擎中。
InnoDB的数据是基于索引组织的,行锁是通过对索引上的索引项加锁来实现的,而不是对记录加的锁。对于行级锁,主要分为以下三类:
InnoDB实现了以下两种类型的行锁:
SQL | 行锁类型 | 说明 |
---|---|---|
INSERT … | 排他锁 | 自动加锁 |
UPDATE … | 排他锁 | 自动加锁 |
DELETE … | 排他锁 | 自动加锁 |
SELECT (正常) | 不加任何锁 | SELECT … LOCK IN SHARE MODE |
共享锁 | 需要手动 | 在SELECT之后加LOCK IN SHARE MODE |
SELECT … FOR UPDATE | 排他锁 | 需要手动在SELECT之后加FOR UPDATE |
行锁-演示
默认情况下,InnoDB在REPEATABLE READ事务隔离级别运行,InnoDB使用next-key锁进行搜索和索引扫描,以防止幻读。
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mybatis |
| mysql |
| performance_schema |
| sakila |
| sys |
| test |
| tlias |
| world |
+--------------------+
9 rows in set (0.00 sec)
mysql> use test
Database changed
mysql> select * from stu;
+----+-----+-------+
| id | age | name |
+----+-----+-------+
| 1 | 1 | tom |
| 3 | 3 | cat |
| 8 | 8 | rose |
| 11 | 11 | jetty |
| 19 | 19 | lily |
| 25 | 25 | luci |
+----+-----+-------+
6 rows in set (0.00 sec)
mysql>
可以通过以下SQL,查看意向锁及行锁的加锁情况:
select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;
mysql> select * from stu where id = 1;
+----+-----+------+
| id | age | name |
+----+-----+------+
| 1 | 1 | tom |
+----+-----+------+
1 row in set (0.00 sec)
mysql> select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;
Empty set (0.00 sec)
T1
mysql> begin;
Query OK, 0 rows affected (0.00 sec)
mysql> select * from stu where id = 1 lock in share mode;
+----+-----+------+
| id | age | name |
+----+-----+------+
| 1 | 1 | tom |
+----+-----+------+
1 row in set (0.00 sec)
T2
mysql> use test;
Database changed
mysql> select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;
Empty set (0.00 sec)
mysql> select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;
+---------------+-------------+------------+-----------+---------------+-----------+
| object_schema | object_name | index_name | lock_type | lock_mode | lock_data |
+---------------+-------------+------------+-----------+---------------+-----------+
| test | stu | NULL | TABLE | IS | NULL |
| test | stu | PRIMARY | RECORD | S,REC_NOT_GAP | 1 |
+---------------+-------------+------------+-----------+---------------+-----------+
2 rows in set (0.00 sec)
间隙锁/临键锁-演示
默认情况下,InnoDB在REPEATABLE READ事务隔离级别运行,InnoDB使用next-key锁进行搜索和索引扫描,以防止幻读。
注意:间隙锁唯一目的是防止其他事务插入间隙。间隙锁可以共存,一个事务采用的间隙锁不会阻止另一个事务在同一间隙上采用间隙锁。
T1
mysql> select * from stu;
+----+-----+-------+
| id | age | name |
+----+-----+-------+
| 1 | 1 | tom |
| 3 | 3 | cat |
| 8 | 8 | rose |
| 11 | 11 | jetty |
| 19 | 19 | lily |
| 25 | 25 | luci |
+----+-----+-------+
6 rows in set (0.00 sec)
mysql> begin;
Query OK, 0 rows affected (0.00 sec)
mysql> update stu set age = 10 where id =5;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 0 Changed: 0 Warnings: 0
mysql>
T2
mysql> select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;
+---------------+-------------+------------+-----------+-----------+-----------+
| object_schema | object_name | index_name | lock_type | lock_mode | lock_data |
+---------------+-------------+------------+-----------+-----------+-----------+
| test | stu | NULL | TABLE | IX | NULL |
| test | stu | PRIMARY | RECORD | X,GAP | 8 |
+---------------+-------------+------------+-----------+-----------+-----------+
2 rows in set (0.00 sec)
mysql> begin;
Query OK, 0 rows affected (0.00 sec)
mysql> insert into stu values(7,7,'Ruby');
T1
mysql> commit;
Query OK, 0 rows affected (0.00 sec)
T2
Query OK, 1 row affected (24.87 sec)
mysql> select * from stu;
+----+-----+-------+
| id | age | name |
+----+-----+-------+
| 1 | 1 | tom |
| 3 | 3 | cat |
| 7 | 7 | Ruby |
| 8 | 8 | rose |
| 11 | 11 | jetty |
| 19 | 19 | lily |
| 25 | 25 | luci |
+----+-----+-------+
7 rows in set (0.00 sec)
间隙锁/临键锁-演示
默认情况下,InnoDB在REPEATABLE READ事务隔离级别运行,InnoDB使用next-key锁进行搜索和索引扫描,以防止幻读。
mysql> select * from stu where age = 3 lock in share mode;
+----+-----+------+
| id | age | name |
+----+-----+------+
| 3 | 3 | cat |
+----+-----+------+
1 row in set (0.00 sec)
mysql> select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;
+---------------+-------------+------------+-----------+---------------+-----------+
| object_schema | object_name | index_name | lock_type | lock_mode | lock_data |
+---------------+-------------+------------+-----------+---------------+-----------+
| test | stu | NULL | TABLE | IS | NULL |
| test | stu | idx_t_age | RECORD | S | 3, 3 |
| test | stu | PRIMARY | RECORD | S,REC_NOT_GAP | 3 |
| test | stu | idx_t_age | RECORD | S,GAP | 7, 7 |
+---------------+-------------+------------+-----------+---------------+-----------+
4 rows in set (0.00 sec)
间隙锁/临键锁-演示
默认情况下,InnoDB在REPEATABLE READ事务隔离级别运行,InnoDB使用next-key锁进行搜索和索引扫描,以防止幻读。
mysql> select * from stu where id>=19 lock in share mode;
+----+-----+------+
| id | age | name |
+----+-----+------+
| 19 | 19 | lily |
| 25 | 25 | luci |
+----+-----+------+
2 rows in set (0.00 sec)
mysql> select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;
+---------------+-------------+------------+-----------+---------------+------------------------+
| object_schema | object_name | index_name | lock_type | lock_mode | lock_data |
+---------------+-------------+------------+-----------+---------------+------------------------+
| test | stu | NULL | TABLE | IS | NULL |
| test | stu | PRIMARY | RECORD | S,REC_NOT_GAP | 19 |
| test | stu | PRIMARY | RECORD | S | supremum pseudo-record |
| test | stu | PRIMARY | RECORD | S | 25 |
+---------------+-------------+------------+-----------+---------------+------------------------+
4 rows in set (0.00 sec)
MySQL5.5版本开始,默认使用InnoDB存储引擎,它擅长事务处理,具有崩溃恢复特性,在日常开发中使用非常广泛。下面是InnoDB架构图,左侧为内存结构,右侧为磁盘结构。
mysql> show variables like '%hash_index%';
+----------------------------------+-------+
| Variable_name | Value |
+----------------------------------+-------+
| innodb_adaptive_hash_index | ON |
| innodb_adaptive_hash_index_parts | 8 |
+----------------------------------+-------+
2 rows in set, 1 warning (0.01 sec)
mysql> show variables like '%log_buffer_size%';
+------------------------+----------+
| Variable_name | Value |
+------------------------+----------+
| innodb_log_buffer_size | 16777216 |
+------------------------+----------+
1 row in set, 1 warning (0.00 sec)
mysql> show variables like '%flush_log%';
+--------------------------------+-------+
| Variable_name | Value |
+--------------------------------+-------+
| innodb_flush_log_at_timeout | 1 |
| innodb_flush_log_at_trx_commit | 1 |
+--------------------------------+-------+
2 rows in set, 1 warning (0.00 sec)
1:日志在每次事务提交时写入并刷新到磁盘
0:每秒将日志写入并刷新到磁盘一次。
2:日志在每次事务提交后写入,并每秒刷新到磁盘一次。
innodb_data_file_path
innodb_file_per_table
内存刷新到磁盘中的后台线程!!!!
线程类型 | 默认个数 | 职责 |
---|---|---|
Read thread | 4 | 负责读操作 |
Write thread | 4 | 负责写操作 |
Log thread | 1 | 负责将日志缓冲区刷新到磁盘 |
Insert buffer thread | 1 | 负责将写缓冲区内容刷新到磁盘 |
事务是一组操作的集合,它是一个不可分割的工作单位,事务会把所有的操作作为一个整体-起向系统提交或撤销操作请求,即这些操作要么同时成功,要么同时先败。
特性
重做日志,记录的是事务提交时数据页的物理修改,是用来实现事务的持久性。
该日志文件由两部分组成:重做日志缓冲(redo log buffer)以及重做日志文件(redo log file) ,前者是在内存中,后者在磁盘中。当事务提交之后会把所有修改信息都存到该日志文件中,用于在刷新脏页到磁盘,发生错误时,进行数据恢复使用。
脏页刷新磁盘发生错误的时候,回滚数据恢复,用的(持久性) ——WAL (Write-Ahead Logging)
回滚日志,用于记录数据被修改前的信息,作用包含两个:提供回滚和MVCC(多版本并发控制)。
undo log和redo log记录物理日志不一样,它是逻辑日志。可以认为当delete-条记录时, undo log中会记录一条对 应的insert记录,反之亦然,当update- 条记录时,它记录一条对应相反的update记录。当执行rollback时, 就可以从undo log中的逻辑记录读取到相应的内容并进行回滚。
Undo log销毁: undo log在事务执行时产生,事务提交时,并不会立即删除undo log,因为这些日志可能还用于MVCC。
Undo log存储: undo log采用段的方式进行管理和记录,存放在前面介绍的rollback segment回滚段中,内部包含1024个undo log segment。
基本概念
当前读
读取的是记录的最新版本,读取时还要保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。对于我们日常的操作,如:
select ... lgck in share mode
(共享锁), select .. for update
、update
、 insert
、 delete
(排他锁)都是一 种当前读。
快照读
简单的select
(不加锁)就是快照读,快照读,读取的是记录数据的可见版本,有可能是历史数据,不加锁,是非阻塞读。
Read Committed
:每次select,都生成一个快照读。
Repeatable Read
:开启事务后第一个select语句才是快照读的地方。
Serializable
:快照读会退化为当前读。
MVCC(Multi-Version Concurrency Control)
三个隐式字段
、undo log日志
、readView
。
当你建立一个表的时候,会正常的给你三个字段,但是他还会生成隐藏的三个分别是上面灰色的部分:DB_TRX_ID
, DB_ROLL_PTR
, DB_ROW_ID
。
隐藏字段 | 含义 |
---|---|
DB_TRX_ID | 最近修改事务ID,记录插入这条记录或最后一次修改该 记录的事务ID。 |
DB_ROLL_PTR | 回滚指针,指向这条记录的上一个版本,用于配合undo log,指向上一个版本。 |
DB_ROW_ID | 隐藏主键,如果表结构没有指定主键,将会生成该隐藏字段。 |
undo log
不同事务或相同事务对同一条记录进行修改,会导致该记录的undolog生成一条记录版本链表,链表的头部是最新的旧记录,链表尾部是最早的旧记录。
ReadView (读视图)是快照读SQL执行时MVCC提取数据的依据,记录并维护系统当前活跃的事务(未提交的) id。
ReadView中包含了四个核心字段:
字段 | 含义 |
---|---|
m_ids | 当前活跃的事务ID集合 |
min_trx_id | 最小活跃事务ID |
max_trx_id | 预分配事务ID,当前最大事务ID+1 (因为事务ID是自增的) |
creator_trx_id | ReadView创建者的事务ID |
readview
trx_ id: 代表是当前事务ID。
不同的隔离级别,生成ReadView的时机不同:
➢READ COMMITTED :在事务中每一次执行快照读时生成ReadView。
➢REPEATABLE READ:仅在事务中第一次执行快照读时生成ReadView, 后续复用该ReadView。
RC隔离级别下,在事务中每一次执行快照读时生成ReadView。
RR隔离级别下,仅在事务中第一次执行快照读时生 成ReadView,后续复用该ReadView。
数据库 | 含义 |
---|---|
mysql | 存储MySQL服务器正常运行所需要的各种信息(时区、 主从、用户、权限等) |
information_schema | 提供了访问数据库元数据的各种表和视图,包含数据库、表、字段类型及访问权限等 |
performance_schema | 为MySQL服务器运行时状态提供了一一个底层监控功能,主要用于收集数据库服务器性能参数 |
sys | 包含了一系列方便DBA和开发人员利用performance_ schema 性能数据库进行性能调优和诊断的视图 |
该mysql不是指mysql服务,而是指mysql的客户端的工具。
语法
mysql [options] [database]
选项
-u, --user=name #指定用户名
-p, --password[=name] #指定密码
-h, --host=name #指定服务器IP或域名
-P, --port=port #指定连接端口
-e, --execute=name #执行SQL语句并退出
-e选项
可以在Mysq|客户端执行SQL语句,而不用连接到MySQL数据库再执行,对于一些批处理脚本,这种方式尤其方便。
示例:
mysql -uroot -p123456 db01 -e "select * from stu";
mysqladmin是一个执行管理操作的客户端程序。可以用它来检查服务器的配置和当前状态、创建并删除数据库等。
通过帮助文档查看选项:mysqladmin --help
示例:
mysqladmin -uroot -p123456 drop 'test01';
mysqladmin -uroot -p123456 version;
由于服务器生成的二进制日志文件以二进制格式保存,所以如果想要检查这些文本的文本格式,就会使用到mysqlbinlog日志管理工具。
语法
mysqlbinlog [options] log-files1 log-files2 ...
选项
-d, --database=name 指定数据库名称,只列出指定的数据库相关操作。
-o, --offset=# 忽略掉日志中的前n行命令。
-r,--result-file=name 将输出的文本格式日志输出到指定文件。
-s, --short-form 显示简单格式,省略掉一 些信息。
--start-datatime=date1 --stop-datetime=date2 指定日期间隔内的所有日志。
--start-position=pos1 --stop-position=pos2 指定位置间隔内的所有日志。
mysqlshow客户端对象查找工具,用来很快地查找存在哪些数据库、数据库中的表、表中的列或者索引
语法
mysqlshow [options] [db_name [table_name [col_namel]]
选项
--count 显示数据库及表的统计信息(数据库,表均可以不指定)
-i 显示指定数据库或者指定表的状态信息
示例
#查询每个数据库的表的数量及表中记录的数量
mysqlshow -uroot -p2143 --count
#查询test库中每个表中的字段书,及行数
mysqlshow -uroot -p2143 test --count
#查询test库中book表的详细情况
mysqlshow -uroot -p2143 test book --count
C:\Users\HP>mysqlshow -uroot -p123456 --count
mysqlshow: [Warning] Using a password on the command line interface can be insecure.
+--------------------+--------+--------------+
| Databases | Tables | Total Rows |
+--------------------+--------+--------------+
| information_schema | 79 | 28446 |
| mybatis | 1 | 6 |
| mysql | 38 | 4146 |
| performance_schema | 111 | 318915 |
| sakila | 23 | 50081 |
| sys | 101 | 6535 |
| test | 11 | 58 |
| tlias | 2 | 22 |
| world | 3 | 5302 |
+--------------------+--------+--------------+
9 rows in set.
C:\Users\HP>mysqlshow -uroot -p123456 test --count
mysqlshow: [Warning] Using a password on the command line interface can be insecure.
Database: test
+----------------+----------+------------+
| Tables | Columns | Total Rows |
+----------------+----------+------------+
| account | 3 | 2 |
| course | 2 | 4 |
| dept | 2 | 5 |
| emp | 8 | 15 |
| emp2 | 8 | 6 |
| stu | 3 | 7 |
| student | 3 | 3 |
| student_course | 3 | 4 |
| tb_user | 5 | 4 |
| tb_user_edu | 7 | 4 |
| user | 5 | 4 |
+----------------+----------+------------+
11 rows in set.
C:\Users\HP>
C:\Users\HP>mysqlshow -uroot -p123456 test stu --count
mysqlshow: [Warning] Using a password on the command line interface can be insecure.
Database: test Table: stu Rows: 7
+-------+--------------+--------------------+------+-----+---------+----------------+---------------------------------+---------+
| Field | Type | Collation | Null | Key | Default | Extra | Privileges | Comment |
+-------+--------------+--------------------+------+-----+---------+----------------+---------------------------------+---------+
| id | int | | NO | PRI | | auto_increment | select,insert,update,references | |
| age | int | | NO | MUL | | | select,insert,update,references | |
| name | varchar(255) | utf8mb4_general_ci | YES | | | | select,insert,update,references | |
+-------+--------------+--------------------+------+-----+---------+----------------+---------------------------------+---------+
C:\Users\HP>
Database: test Wildcard: stu
+------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+--------------------+----------+----------------+---------+
| Name | Engine | Version | Row_format | Rows | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time | Update_time | Check_time | Collation | Checksum | Create_options | Comment |
+------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+--------------------+----------+----------------+---------+
| stu | InnoDB | 10 | Dynamic | 7 | 2340 | 16384 | 0 | 16384 | 0 | 26
| 2023-10-03 16:13:32 | 2023-10-05 16:19:09 | | utf8mb4_0900_ai_ci | | | |
+------+--------+---------+------------+------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+--------------------+----------+----------------+---------+
C:\Users\HP>
mysqldump客户端工具用来备份数据库或在不同数据库之间进行数据迁移。备份内容包含创建表,及插入表的sQL语句。
语法
mysqldump [options] db_name [tables]
mysqldump [options] --database/ -B db1 [db2 db3...]
mysqldump [options] -all-databases/-A
连接选项
-u, --user=name 指定用户名
-p, --password[=name] 指定密码
-h, --host=name 指定服务器ip或域名
-P, --port=# 指定连接端口
输出选项
--add-drop-database 在每个数据库创建语句前加上drop database语句
--add-drop-table 在每个表创建语句前加上droptable语句,默认开启;不开启(--skip-add-drop-table)
-n, --no-create-db 不包含数据库的创建语句
-t, --no-create-info 不包含数据表的创建语句
-d --no-data 不包含数据
-T, --tab=name 自动生成两个文件:一个.sql文件,创建表结构的语句;一个.txt文件,数据文件
mysqlimport是客户端数据导入工具,用来导入mysqldump加-T参数后导出的文本文件。
语法
mysqlimport [options] db_ name textfile1 [tetile...].
示例
mysqlimport -uroot -p2143 test /tmp/city.txt