MySql笔记

一、MySQL执行流程

MySQL执行流程

查询执行流程

1.连接
　　1.1客户端发起一条Query请求，监听客户端的‘连接管理模块’接收请求
　　1.2将请求转发到‘连接进/线程模块’
　　1.3调用‘用户模块’来进行授权检查
　　1.4通过检查后，‘连接进/线程模块’从‘线程连接池’中取出空闲的被缓存的连接线程和客户端请求对接，如果失败则创建一个新的连接请求

2.处理
　　2.1先查询缓存，检查Query语句是否完全匹配，接着再检查是否具有权限，都成功则直接取数据返回
　　2.2上一步有失败则转交给‘命令解析器’，经过词法分析，语法分析后生成解析树
　　2.3接下来是预处理阶段，处理解析器无法解决的语义，检查权限等，生成新的解析树
　　2.4再转交给对应的模块处理
　　2.5如果是SELECT查询还会经由‘查询优化器’做大量的优化，生成执行计划
　　2.6模块收到请求后，通过‘访问控制模块’检查所连接的用户是否有访问目标表和目标字段的权限
　　2.7有则调用‘表管理模块’，先是查看table cache中是否存在，有则直接对应的表和获取锁，否则重新打开表文件
　　2.8根据表的meta数据，获取表的存储引擎类型等信息，通过接口调用对应的存储引擎处理
　　2.9上述过程中产生数据变化的时候，若打开日志功能，则会记录到相应二进制日志文件中

3.结果
　　3.1Query请求完成后，将结果集返回给‘连接进/线程模块’
　　3.2返回的也可以是相应的状态标识，如成功或失败等
　　3.3‘连接进/线程模块’进行后续的清理工作，并继续等待请求或断开与客户端的连接

二、Sql语句执行顺序

MySQL的语句一共分为10步，如下所标注的那样，最先执行的总是FROM操作，最后执行的是LIMIT操作。其中每一个操作都会产生一张虚拟的表，这个虚拟的表作为一个处理的输入，只是这些虚拟的表对用户来说是透明的，但是只有最后一个虚拟的表才会被作为结果返回。如果没有在语句中指定某一个子句，那么将会跳过相应的步骤。

    (7)     SELECT
    (8)     DISTINCT 
    (1)     FROM 
    (3)      JOIN 
    (2)     ON 
    (4)     WHERE 
    (5)     GROUP BY 
    (6)     HAVING 
    (9)     ORDER BY 
    (10)    LIMIT

下面我们来具体分析一下查询处理的每一个阶段

FORM: 对FROM的左边的表和右边的表计算笛卡尔积。产生虚表VT1
ON: 对虚表VT1进行ON筛选，只有那些符合的行才会被记录在虚表VT2中。
JOIN：如果指定了OUTER JOIN（比如left join、 right join），那么保留表中未匹配的行就会作为外部行添加到虚拟表VT2中，产生虚拟表VT3。如果from子句中包含两个以上的表的话，那么就会对上一个join连接产生的结果VT3和下一个表重复执行步骤1~3这三个步骤，一直到处理完所有的表为止。
WHERE：对虚拟表VT3进行WHERE条件过滤。只有符合的记录才会被插入到虚拟表VT4中。
GROUP BY: 根据group by子句中的列，对VT4中的记录进行分组操作，产生VT5.
HAVING：对虚拟表VT5应用having过滤，只有符合的记录才会被插入到虚拟表VT6中。
SELECT：执行select操作，选择指定的列，插入到虚拟表VT7中。
DISTINCT：对VT7中的记录进行去重。产生虚拟表VT8.
ORDER BY: 将虚拟表VT8中的记录按照进行排序操作，产生虚拟表VT9.
LIMIT：取出指定行的记录，产生虚拟表VT10, 并将结果返回。

注意：
group by 存在时，select中除了聚集函数（sum、avg等）外，所有的基本列必须是group by里面存在的；having基本上同group by一起使用的，having类似于where语句，只是having过滤是基于group by 分组后的数据，having一般通过select语句里面的聚集函数进行过滤。

三、MySql索引

索引的类型

普通索引
唯一索引
多列索引：一个索引包含多列，符合最左前缀
全文索引：InnoDB不支持，Myisam支持性能比较好，一般在 CHAR、VARCHAR 或 TEXT 列上创建。

索引使用规则

若查询条件中不包含索引的最左列，无法使用索引
对于范围查询，只能利用索引的最左列
对于order by A语句，在A上建立索引，可以避免排序
对于group by A语句，在A上建立索引，可以避免排序
对于多列排序，需要所有所有列排序方向一致，才能利用索引。

InnoDB的索引结构

索引结构

非叶子节点是叶子节点的索引
叶子节点是数据层
任一值搜索深度相同

四、MySql存储引擎

存储引擎其实就是如何实现存储数据，如何为存储的数据建立索引以及如何更新，查询数据等技术实现的方法。

MySQL中的数据用各种不同的技术存储在文件（或内存）中，这些技术中的每一种技术都使用不同的存储机制，索引技巧，锁定水平并且最终提供广泛的不同功能和能力。在MySQL中将这些不同的技术及配套的相关功能称为存储引擎。

1、InnoDB

（1）innodb存储引擎最重要的是支持事务，以及事务相关联功能。

（2）innodb支持自增长列（auto_increment）,自增长列的值不能为空，如果在使用的时候为空的话怎会进行自动存现有的值开始增值，如果有但是比现在的还大，则就保存这个值。

（3）innodb存储引擎支持外键（foreign key） ,外键所在的表称为子表而所依赖的表称为父表。

（4）innodb存储引擎支持mvcc的行级锁。

（5）innodb存储引擎索引使用的是B+Tree

2、MyISAM存储引擎

（1）MyISAM这种存储引擎不支持事务，不支持行级锁，只支持并发插入的表锁，主要用于高负载的select。

（2）MyISAM类型的表支持三种不同的存储结构：静态型、动态型、压缩型。

（3）MyISAM也是使用B+tree索引但是和Innodb的在具体实现上有些不同。

3、MEMORY存储引擎

（1）memory存储引擎相比前面的一些存储引擎，有点不一样，其使用存储在内从中的数据来创建表，而且所有的数据也都存储在内存中。

（2）每个基于memory存储引擎的表实际对应一个磁盘文件，该文件的文件名和表名是相同的，类型为.frm。该文件只存储表的结构，而其数据文件，都是存储在内存中，这样有利于对数据的快速处理，提高整个表的处理能力。

（3）memory存储引擎默认使用哈希（HASH）索引，其速度比使用B-+Tree型要快，如果读者希望使用B树型，则在创建的时候可以引用。

（4）memory存储引擎文件数据都存储在内存中，如果mysqld进程发生异常，重启或关闭机器这些数据都会消失。所以memory存储引擎中的表的生命周期很短，一般只使用一次。

4、BlackHole存储引擎（黑洞引擎）

支持事务，而且支持mvcc的行级锁，主要用于日志记录或同步归档，这个存储引擎除非有特别目的，否则不适合使用！

五、MySql性能优化

1.索引的优化

只要列中含有NULL值，就最好不要在此例设置索引，复合索引如果有NULL值，此列在使用时也不会使用索引
尽量使用短索引，如果可以，应该制定一个前缀长度
对于经常在where子句使用的列，最好设置索引，这样会加快查找速度
对于有多个列where或者order by子句的，应该建立复合索引
对于like语句，以%或者‘-’开头的不会使用索引，以%结尾会使用索引
尽量不要在列上进行运算（函数操作和表达式操作）
尽量不要使用not in和<>操作

2.sql语句的优化

查询时，能不要就不用，尽量写全字段名
大部分情况连接效率远大于子查询
多使用explain和profile分析查询语句
查看慢查询日志，找出执行时间长的sql语句优化
多表连接时，尽量小表驱动大表，即小表 join 大表
在千万级分页时使用limit
对于经常使用的查询，可以开启缓存

3.表的优化

表的字段尽可能用NOT NULL
字段长度固定的表查询会更快
把数据库的大表按时间或一些标志分成小表
将表分区

参考资料：

[1] https://www.cnblogs.com/annsshadow/p/5037667.html
[2] https://www.cnblogs.com/Steven0805/p/6553538.html
[3] https://www.cnblogs.com/rollenholt/p/3776923.html
[4] https://blog.csdn.net/qh_java/article/details/14045827
[5] https://blog.csdn.net/seudongnan/article/details/57086633