MySQL之事务、存储引擎、索引

---

前言

记录MySQL中事务、存储引擎、索引、视图等概念以及用法。

---

一、事务

1.概念

事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败。
默认MySQL的事务是自动提交的。

2.操作

（1）开启事务

START TRABNSACTION 或 BEGIN;

（2）提交事务

COMMIT;

（3）回滚事务

ROLLBACK;

3.四大特性ACID

（1）原子性（Atomicity）

事务是不可分割的最小操作单元，要么全部成功，要么全部失败。

（2）一致性（Consistency）

事务完成时，必须使所有的数据都保持一致状态。

（3）隔离性（Isolation）

数据库系统提供的隔离机制，保证事务在不受外部并发操作影响的独立环境下运行。

（4）持久性（Durability）

事务一旦提交或回滚，它对数据库中的数据的改变就是永久的。

4.并发事务问题

（1）脏读

一个事务读到另一个事务还没有提交的数据。

（2）不可重复读

一个事务先后读取同一条记录，但两次读取的数据不同，称之为不可重复读。

（3）幻读

一个事务按照条件查询数据时，没有对应得数据行，但是在插入数据时，又发现这行数据已经存在，好像出现了“幻读”。

5.隔离级别

（1）事务隔离级别

隔离级别	脏读	不可重复读	幻读
Read uncommitted（读未提交）	√	√	√
Read committed（读已提交）	×	√	√
Repeatable Read（可重复读）	×	×	√
Serializable（序列化）	×	×	×

Repeatable Read 是MySQL得默认隔离级别。

（2）查看事务隔离级别

select @@global.tx_isolation; //查看系统隔离级别
select @@tx_isolation; //查看会话隔离级别（5.0以上版本）
select @@transaction_isolation; //查看会话隔离级别（8.0以上版本）

（3）设置事务隔离级别

set session transaction isolation level repeatable read; //设置会话隔离级别为而重复读
set session transaction isolation level read uncommitted; //设置会话隔离级别为读未提交
set session transaction isolation level read committed; //设置会话隔离级别为读已提交

（4）隔离级别演示

隔离级别为Read uncommitted，出现的脏读问题示例。

隔离级别为Read committed，出现的不可重复读问题示例。

隔离级别为Repeatable Read，出现的幻读问题示例。

注意：事务隔离级别越高，数据越安全，但是性能越低。

二、存储引擎

1.MySQL体系结构

（1）连接层：最上层是一些客户端和链接服务，主要完成一些类似于连接处理、授权认证、及相关的安全方案。服务器也会为安全接入的每个客户端验证它所具有的操作权限。
（2）服务层：第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行。所有跨存储引擎的功能在这一层实现，如过程、函数等。
（3）引擎层：存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API和存储引擎进行通信。不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，选取合适的存储引擎。
（4）存储层：主要是将数据存储在文件系统之上，并完成与存储引擎的交互。

2.简介

（1）在创建表时，指定存储引擎。

CREATE TABLE 表名(
	字段1 字段1类型 [COMMENT 字段1注释],
	......
	字段n 字段n类型 [COMMENT 字段n注释]
)ENGINE = INNODB [COMMENT 表注释]

（2）查看当前数据库支持的存储引擎。

SHOW ENGINES;

3.InnoDB

（1）概念
InnoDB是一种兼顾高可靠性和高性能的通用存储引擎，在MySQL5.5之后，InnoDB是默认的MySQL存储引擎。
（2）特点
a.DML操作遵循ACID模型，支持事务；
b.行级锁，提高并发访问性能；
c.支持外键FOREIGN KEY约束，保证数据的完整性和正确性。
（3）文件
xxx.ibd：xxx代表的是表名，innoDB引擎的每张表都会对应这样一个表空间文件，存储该表的表结构（frm、sdi）、数据和索引。
参数：innodb_file_per_table
（4）逻辑存储结构

4.MyISAM和Memory

MyISAM
（1）介绍
MyISAM是MySQL早期的默认存储引擎。
（2）特点
a.不支持事务，不支持外键；
b.支持表锁，不支持行锁；
c.访问速度快。
（3）文件
xxx.sdi：存储结构信息；
xxx.MYD：存储数据；
xxx.MYI：存储索引。
Memory
（1）介绍
Memory引擎的表数据存储在内存中，由于受到硬件问题、或断电问题的影响，只能将这些表作为临时表或缓存使用。
（2）特点
a.内存存放；
b.hash索引（默认）。
（3）文件
xxx.sdi：存储表结构信息。

5.区别

特点	InnoDB	MyISAM	Memory
存储限制	64TB	有	有
事务安全	支持	-	-
锁机制	行锁	表锁	表锁
B+tree索引	支持	支持	支持
hash索引	-	-	-
全文索引	支持（5.6版本之后）	支持	-
空间使用	高	低	N/A
内存使用	高	低	中等
批量插入速度	低	高	高
支持外键	支持	-	-

6.选择

（1）InnoDB：是Mysql的默认存储引擎。支持事务、外键。（适合要求数据完整性、一致性、增删改查操作）
（2）MyISAM：适合以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性、并发性要求不是很高。
（3）MEMORY：将所有数据保存在内存中，访问速度快，通常用于临时表及缓存。（对表的大小有限制，表过大无法缓存在内存中，且无法保障安全性。）

三、索引

1.概述

（1）概念

索引（index）是帮助MySQL高效获取数据的数据结构（有序）。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。

（2）优缺点

优势	劣势
提高数据检索的效率，降低数据库的IO成本	索引列也是要占用空间的
通过索引列对数据进行排序，降低数据排序的成本，降低CPU的消耗	索引大大提高了查询效率，同时也降低更新表的速度，如对表进行INSERT、UPDATE、DELETE时i，效率降低。

2.结构

MySQL的索引是在存储引擎层实现的，不同存储引擎有不同的结构，主要包含以下几种：

索引结构	描述
B+Tree索引	最常见的索引类型，大部分引擎都支持B+树索引
Hash索引	底层数据结构是哈希表实现的，只有精确匹配索引列的查询才有效，不支持范围查询
R-Tree（空间索引）	空间索引MyISAM引擎的一个特殊索引类型，主要用于地理空间数据类型，通常使用较少
Full-Text（全文索引）	是一种通过建立倒排索引，快速匹配文档的方式。类似于Lucene,Solr,ES

不同的引擎对索引的支持情况：

索引	InnoDB	MyISAM	Memory
B+Tree索引	支持	支持	支持
Hash索引	不支持	不支持	支持
R-Tree索引	不支持	支持	不支持
Full-Text索引	5.6版本之后支持	支持	不支持

B-tree

B+tree
相对于B-Tree区别：
a.所有的数据都会出现在叶子节点；
b.叶子节点形成一个单向链表。

MySQL中的B+tree
MySQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加一个指向相邻叶子节点的链表指针，就形成了带有顺序指针的B+Tree，提高区间访问的性能。

Hash
哈希索引就是采用一定的hash算法，将键值换算成新的hash值，映射到对应的槽位上，然后存储在hash表中。
hash索引特点：
1.hash索引只能用于对等比较(=，in),不支持范围查询(between，>，<，…)
2.无法利用索引完成排序操作
3.查询效率高，通常只需要一次检索就可以了，效率通常要高于B+tree索引

3.分类

分类	含义	特点	关键字
主键索引	针对于表中主键创建的索引	默认自动创建，只能有一个	PRIMARY
唯一索引	避免同一个表中某数据列中的值重复	可以有多个	UNIQUE
常规索引	快速定位特定数据	可以有多个
全文索引	全文索引查找的是文本中的关键词，而不是比较索引中的值	可以有多个	FULLTEXT

在InnoDB存储引擎中，根据索引的存储形式，又可以分为以下两种：

分类	含义	特点
聚焦索引（Clustered Index）	将数据存储与索引放到了一块，索引结构的叶子节点保存了行数据	必须有，而且只有一个
二级索引（Secondary Index	将数据与索引分开存储，索引结构的叶子节点关联的是对应的主键	可以存在多个

聚集索引选取规则：
如果存在主键，主键索引就是聚集索引。
如果不存在主键，将使用第一个唯一（UNIQUE）索引作为聚集索引。
如果表没有主键，或没有合适的唯一索引，则InnoDB会自动生成一个rowid作为隐藏的聚集索引。

4.语法

（1）创建索引

CREATE [UNIQUE|FULLTEXT] INDEX index_name ON table_name (index_col_name,...);

（2）查看索引

SHOW INDEX FROM table_name;

（3）删除索引

DROP INDEX index_name ON table_name;

5.性能分析

（1）查看执行频次

show [session|global] status

（2）慢查询日志
慢查询日志记录了所有执行时间超过指定参数（long_query_time，单位：秒，默认0秒）的所有SQL语句的日志。
MySQL的慢查询日志默认没有开启，需要在MySQL的配置文件（/etc/my.cnf）中配置如下信息：

# 开启MySQL慢日志查询开关
slow_query_log=1
# 设置日志的时间为2秒，SQL语句执行时间超过2秒，就会视为慢查询，记录慢查询日志
long_query_time=2

（3）show profiles

（4）explain
EXPLAIN执行计划各字段含义：
Id：select查询的序列号，表示查询中执行select子句或者是操作表的顺序（id相同，执行顺序从上到下；id不同，值越大，越先执行）
select_type：表示SELECT的类型，常见的取值有SIMPLE（简单表，即不使用表连接或者子查询）、PRIMARY（主查询，即外层的查询）、UNION（UNION中的第二个或者后面的查询语句）、SUBQUERY（SELECT/WHERE之后包含了子查询）等。
type：表示连接类型，性能由好到差的连接类型为NULL、system、const、eq_ref、ref、range、index、all。
possible_key：显示可能应用在这张表上的索引，一个或多个。
Key：实际使用的索引。如果为NULL，则没有使用索引。
Key_len：表示索引中使用的字节数，该值为索引字段最大可能长度，并非实际使用长度，在不损失精确度的前提下，长度越短越好。
rows：MySQL认为必须要执行查询的行数，在innodb引擎的表中，是一个估计值，可能并不总是准确的。
filtered：表示返回结果的行数占需读取行数的百分比，filtered的值越大越好。

6.使用规则

（1）索引列运算
不要在索引列上进行运算操作，索引将失效。
（2）模糊查询
如果仅仅是尾部模糊匹配，索引不会失效。如果是头部模糊匹配，索引失效。
（3）or连接的条件
用or分割开的条件，如果or前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到。
（4）数据分布影响
如果MySQL评估使用索引比全表更慢，则不使用索引。
（5）SQL提示
SQL提示，是优化数据库的一个重要手段，简单来说，就是在SQL语句中加入一些人为的提示来达到优化操作的目的。
use index：建议使用哪个索引。
ignore index：忽略使用哪个索引。
force index：强制使用哪个索引。
（6）覆盖索引
尽量使用覆盖索引（查询使用了索引，并且需要返回的列，在该索引中已经全部能够找到），减少select *。
（7）前缀索引
当字段类型为字符串（varchar，text等）时，有时候需要索引很长的字符串，这会让索引变得很大，查询时，浪费大量的磁盘IO，影响查询效率。此时可以只将字符串的一部分前缀，建立索引，这样可以大大节约索引空间，从而提高索引效率。
语法：

create index idx_xxxx on table_name(column(n));

前缀长度：可以根据索引的选择性来决定，而选择性是指不重复的索引值（基数）和数据表的记录总数的比值，索引选择性越高则查询效率越高，唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的。
（8）单列索引与联合索引
单列索引：即一个索引只包含单个列。
联合索引：即一个索引包含了多个列。
在业务场景中，如果存在多个查询条件，考虑针对于查询字段建立索引时，建议建立联合索引，而非单列索引。

7.设计原则

（1）针对于数据量大，且查询比较频繁的表建立索引。
（2）针对于常作为查询条件（where）、排序（order by）、分组（group by）操作的字段建立索引。
（3）尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度越高，使用索引的效率越高。
（4）如果是字符串类型的字段，字段的长度越长，可以针对于字段的特点，建立前缀索引。
（5）尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间，避免回表，提高查询效率。
（6）要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增删改的效率。
（7）如果索引列不能存储NULL值，请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含NULL值时，它可以更好地确定哪个索引最有效地用于查询。

四、SQL优化

1.插入数据

（1）insert优化

· 批量插入
如果一次性需要插入大批量数据，使用insert语句插入性能较低，此时可以使用MySQL数据库提供的load指令进行插入。
· 手动提交事务
· 主键顺序插入
· List item

2.主键优化

（1）数据组织方式
在InnoDB存储引擎中，表数据都是根据主键顺序组织存放的，这种存储方式的表称为索引组织表（index organized table IOT）。
（2）页分裂
页可以为空，也可以填充一半，也可以填充100%。每个页包含了2-N行数据（如果一行数据过大，会行益出），根据主键排列。
（3）页合并
当删除一行记录时，实际上记录并没有被物理删除，只是记录被标记（flaged）为删除并且它的空间变得允许被其他记录声明使用。
当页中删除的记录达到MERGE_THRESHOLD（默认为页的50%），InnoDB会开始寻找最靠近的页（前或后）看看是否可以将两个页合并以优化空间使用。
（4）主键设计原则
· 满足业务需求的情况下，尽量降低主键的长度。
· 插入数据时，尽量选择顺序插入，选择使用AUTO_INCREMENT自增主键。
· 尽量不要使用UUID做主键或者其他自然主键，如身份证号。

（5）order by优化
using filesort：通过表的索引或全表扫描，读取满足条件的数据行，然后在排序缓冲区sort buffer中完成排序操作，所有不是通过索引直接返回排序结果的排序都叫FileSort排序。
using index：通过有序索引顺序扫描直接返回有序数据，这种情况即为using index，不需要额外排序，操作效率高。

**·**根据排序字段建立合适的索引，多字段排序时，也遵循最左前缀法则。
**·**尽量使用覆盖索引。
**·**多字段排序，一个升序一个降序，此时需要注意联合索引在创建时的规则（ASC/DESC）。
**·**如果不可避免的出现filesort，大数据量排序时，可以适当增大排序缓冲区大小sort_buffer_size（默认256k）。

（6）group by优化
**·**在分组操作时，可以通过 索引来提高效率。
**·**分组操作时，索引的使用也是满足最左前缀法则的。

（7）limit优化
优化思路：一般分页查询时，通过创建覆盖索引能够比较好地提高性能，可以通过覆盖索引加子查询形式进行优化。

（8）count优化
· MyISAM引擎把一个表的总行数存在了磁盘上，因此执行count()的时候会直接返回这个数，效率很高；
· InnoDB引擎就麻烦了，它执行count()的时候，需要把数据一行一行地从引擎里面读出来，然后累积计数。
优化思路：自己计数。

---