MySQL学习-0|基础架构：一条SQL查询语句是如何执行的？

查询示例

环境： MySQL 5.7.24, for linux-glibc2.12 (x86_64)
示例： 一条简单的 select 查询语句在 MySQL的各个功能模块中的执行过程。

-- CREATE
CREATE TABLE `T` (
  `ID` tinyint(2) NOT NULL
);

-- SELECT
select * from T where ID=10;

基础架构

MySQL的逻辑架构大体可分为：Server 层 和 存储引擎层 两部分。

Server 层

Server 层包括 连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学 和加密 函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。

功能组件	简要描述
连接器	负责跟客户端建立连接、获取权限、维持和管理连接
查询缓存	之前执行过的语句及其结果可能会以 key-value 对的形式缓存在内存中。失效过于频繁，8.0版本删除此功能
分析器	词法分析(关键字/表名/列名)、语法分析(判断是否满足MySQL语法)。简言之，SQL语句要做什么？
优化器	决定使用哪个索引，决定表连接顺序，生成执行计划。简言之，SQL语句该怎么做？
执行器	验证执行权限，执行SQL语句

结合上面示例中的 select 查询语句，走一遍整个执行流程，依次看下每个组件的作用。

连接器

第1步 客户端（应用）先连接到MySQL服务器，此时连接器负责跟客户端建立连接、获取权限、维持和管理连接。

mysql -h$ip -P$port -u$user -p

/**
 * 输完命令后，需要在交互对话里面输入密码
 * 密码也可以直接跟在 -p 后写在命令行中，但这样可能会泄露密码，建议不要这样做
 */

• 每个客户端连接都会在MySQL服务器进程中拥有一个线程，这个连接的查询只会在这个单独的线程中执行。
• 连接MySQL服务器，完成经典的TCP握手后，连接器进行身份认证（用户名、原始主机信息、密码）。

如果用户名/密码不对，你会收到一个"Access denied for user"的错误，客户端程序结束运行；
如果用户名/密码认证通过，连接器会到权限表里面查出你拥有的权限。之后，这个连接里面的权限判断逻辑，都将依赖于此时读到的权限。
这就意味着，一个用户成功建立连接后，即使你用管理员账号对这个用户的权限做了修改，也不会影响已经存在连接的权限。修改完成后，只有再新建的连接才会使用新的权限设置。

• 连接完成，如果没有后续操作，这个连接就处于空闲状态，可以使用show processlist命令查看状态(Command列显示Sleep)。

mysql> show processlist;
+----+--------+-----------+--------+---------+------+----------+------------------+
| Id | User   | Host      | db     | Command | Time | State    | Info             |
+----+--------+-----------+--------+---------+------+----------+------------------+
| 11 | pcstst | localhost | pcstst | Query   |    0 | starting | show processlist |
| 12 | pcstst | localhost | pcstst | Sleep   |    9 |          | NULL             |
+----+--------+-----------+--------+---------+------+----------+------------------+
2 rows in set (0.00 sec)

连接成功后，如果客户端太长时间没动静，连接器会自动将它断开。由参数wait_timeout控制，默认值是8小时。

• 连接如果被断开，客户端再发送请求，则会收到错误提示：Lost connection to MySQL server during query。

数据库里的长连接是指连接成功后，如果客户端持续请求，则一直使用同一个连接。
短连接则指每次执行完很少的几次查询就断开连接，下次查询再重新建立连接。
推荐使用 长连接，尽量减少建立连接动作。

• 长连接导致MySQL的占用内存涨的特别快的问题，是因为MySQL在执行过程中临时使用的内存是管理在连接对象里面的。这些资源会在连接断开的时候才释放。

长连接累积下来，可能导致内存占用太大，被系统强行杀掉（OOM），从现象看就是MySQL异常重启。
解决方案1：定期断开长连接。使用一段时间，或程序里判断执行过一个占用内存的大查询后，断开连接，之后要查询再重连。
解决方案2：MySQL5.7或更新版本，可以在每次执行一个比较大的操作后，通过执行mysql_reset_connection 来重新初始化连接资源。这个过程不需要重连，不需要重做权限验证，但会将连接恢复到刚刚创建完时的状态。

查询缓存

第2步 连接建立完成，MySQL收到查询请求后，会先到查询缓存看看，之前是否执行过这条语句。
注：8.0版本已经删除此功能。

之前执行过的语句及其结果，可能会以key-value对的形式，被直接缓存的内存中。key是查询的语句，value是查询的结果。
查询语句在缓存中找到key，直接返回对应的value给客户端。
查询语句不在缓存中，会继续后面的执行阶段。执行完成后，执行结果会被存入查询缓存中。

查询缓存的失效非常频繁，只要有对一个表的更新，这个表上的所有的查询缓存都会被清空。对于更新压力大的数据库来说，查询缓存的命中率会非常低。除非是很长时间才更新一次的静态表，适合使用查询缓存。
MySQL提供"按需使用"的方式，可以将参数query_cache_type设置成DEMAND来禁止使用查询缓存。需要使用查询缓存的语句，可用SQL_CACHE显示指定。(相反，还有SQL_NO_CACHE)

mysql> select SQL_CACHE * from T where ID=10;

分析器

第3步 分析器做SQL语句解析（词法分析、语法分析）并创建内部数据结构（解析树）。

• 分析器先做词法分析，识别SQL语句中的关键字、表名、列名等。
• 做完词法识别后，再做语法分析，判断SQL语句是否满足MySQL语法。

如果语法不对，会收到"You have an error in your SQL syntax"的错误提醒

优化器

第4步 SQL语句开始执行之前，要先经过优化器对其进行优化处理，包括重写查询、决定表的读写顺序，以及选择合适的索引等。

• 用户可通过特殊的关键字提示(hint)优化器，影响它的决策过程。也可以请求优化器解释(explain)优化过程的各个因素，使用户得知服务器是如何进行优化决策的。
• 优化器不关心表使用的是什么存储引擎，但存储引擎对于优化查询是有影响的。优化器会请求存储引擎提供容量或某个具体操作的开销信息，以及表数据的统计信息等。

执行器

第5步 MySQL通过分析器，知道你要做什么，通过优化器知道了该怎么做，于是进入执行器开始执行语句。

• 开始执行时，先判断用户对表是否有执行权限。如果没有权限，会返回没有权限的错误
• 如果有权限，就打开表继续执行。执行器会根据表的存储引擎定义，去是的这个引擎提供的接口。

我们示例中的表T中，ID字段没有索引，执行器的执行流程如下

1、调用InnoDB引擎接口，读取表T的第一行，判断ID值是不是10，如果不是则跳过；如果是，则将这行记录存在结果集中；
2、调用InnoDB引擎接口，读取表T的"下一行"，重复步骤1的判断逻辑，直到取到表T的最后一行。
3、执行器将所有满足条件的行组成的结果集返回给客户端。

注：对于有索引的情况，执行逻辑差不多，第一次调用"取满足条件的第一行"这个接口，之后循环取"满足条件条件的下一行"接口。

数据库的慢查询日志中rows_examined字段，表示这个语句执行过程中扫描的行数。这个值就是在执行器每次调用存储引擎接口获取数据行的时候累加的。
在某些场景下，执行器调用一次，在存储引擎内部则扫描了多行，因此引擎扫描行数与rows_examined并不是完全相同的。

存储引擎层

存储引擎层负责数据的存储和提取。
Server层 通过API与存储引擎进行通信，API(包含几十个底层函数)屏蔽了不同存储引擎之间的差异。
MySQL 5.5.5 版本开始默认的存储引擎是InnoDB，也可以通过指定存储引擎的类型来选择别的引擎，比如在 create table 语句中使用 engine=memory, 来指定使用内存引擎创建表。

• 架构模式是插件式的
• 存储引擎不解析SQL（InnoDB是个例外，它会解析外键定义）
• 不同存储引擎的表数据存取方式不同，支持的功能也不同
• 不同的存储引擎共用一个Server 层，也就是从连接器到执行器的部分
• 不同的存储引擎之间不会互相通信，只是简单的响应上层Server的请求

参考资料

《高性能MySQL》
《MySQL实战45讲》 作者：丁奇

写在后面

之前学习了大神丁奇的《MySQL实战45讲》，目前在看《高性能高MySQL》，也想自己整理一下MySQL知识点，发现力不从心，也发现大神之所以是大神，那是因为真的牛。

推荐大家还是去学习丁奇的《MySQL实战45讲》，条理清晰，循序渐进，深入浅出，通俗易懂。而且每一讲后面都有高质量的留言评论， 从中能获益良多。感谢！

• 如有 错误之处 还请多多指正。希望能给您带来帮助。