MySQL架构原理（MySQL体系架构、MySQL运行机制、MySQL存储引擎）

一、MySQL体系架构

MySQL Server架构大致可以分为：网络连接层、服务层、存储引擎层和系统文件层。

网络连接层

客户端连接器（Client Connectors）提供与MySQL服务器建立连接的支持。
目前主流服务器编程技术，例如：Java、C、Python，它们均是通过各自API与MySQL建立连接

服务层

服务层为MySQL Server的核心，主要包括系统管理和控制工具、连接池、SQL接口、解析器、查询优化器和缓存六个部分。

1. 连接池
   负责存储和管理客户端与数据库的连接，一个线程管理一个连接。

2. 系统管理和控制工具
   例如备份恢复、安全管理、集群管理等。

3. SQL接口
   用于接受客户端发送的各种SQL命令，并且返回用户需要的接口。例如：DML、DDL、存储过程、视图、触发器等。

4. 解析器
   负责将请求的SQL解析成一个解析树，然后根据一些MySQL规则进一步检查解析树是否合法。

5. 查询优化器
   当解析树通过解析器语法检查后，交由查询优化器将其转化为执行计划，然后与存储引擎交互。

   查询优化器一般流程为：选取-->投影-->连接 策略
   例如：select id,name from user where id = 1
   1.select先根据where语句进行选取，并不是查询全部数据再过滤
   2.select查询根据id、name进行属性投影，并不是取出所有字段
   3.将前面的选取和投影连接起来行程最终的结果
   

6. 缓存
   缓存机制是由一系列小缓存组成的。比如表缓存、记录缓存、权限缓存、引擎缓存等。如果查询有命中的查询接口，查询语句就可以直接查询缓存中取数据。

存储引擎层

存储引擎负责MySQL中数据的存储和提取，与底层文件进行交互。MySQL的存储引擎是插件式的，服务器中的查询执行引擎通过接口和存储引擎进行通信，接口屏蔽了不同存储引擎之间的差异。MySQL主要使用的存储引擎有MylSAM和InnoDB。

系统文件层

系统文件层主要负责将数据库的数据和日志存储在文件系统之上，并完成与存储引擎的交互，是文件的物理存储层。主要包括日志文件、配置文件、pid文件、socket文件等。

1. 日志文件
   错误日志（Error log）
   默认开启，show variables like ‘%log_error%’;
   
   通用查询日志（General query log）
   记录一般查询语句，show variables like ‘%general%’;
   
   二进制文件（binary log）
   记录对MySQL数据库执行的更改操作，并且记录了语句的发生时间、执行时长；但是它不记录select、show等不修改数据库的SQL。主要用于数据库恢复和主从复制。
   是否开启：show variables like ‘%log_bin%’;
   
   开启bin log日志
   修改my.cnf配置文件：vim /etc/my.cnf
   增加配置：
   server-id=1
   log-bin=/var/lib/mysql/mysql-bin
   
   重启mysql服务： service mysqld restart;
   
   参数查看：show variables like ‘%binlog%’;
   
   查看日志文件：show binary logs;
   
   慢查询日志（Slow query log）
   记录所有执行时间超时的查询语句，默认是10秒。
   是否开启：show variables like ‘%slow_query%’;
   超时时长：show variables like ‘%long_query_time%’;
   

2. 配置文件

   用于存放MySQL所有的配置信息，比如：my.cnf、my.ini等；
   

   3. 数据文件

   db.opt文件：记录该数据库的默认使用的字符集和校验规则。
   frm文件：存储与表相关的元数据（meta）信息，包括表结构的定义信息等，每一张表都会有一个frm文件。
   MYD文件：MylSAM存储引擎专用，存放MylSAM表的数据（data）,每张表都会有一个.MYD文件。
   MYI文件：MylSAM存储引擎专用，存放MylSAM表的索引相关信息，每一张MylSAM表对应一个.MYI文件。
   ibd文件和IBDATA文件：存放InnoDB存储引擎的数据文件（包括索引）。
   InnoDB有两种表空间：独享表空间和共享表空间。独享表空间使用.ibd文件来存储数据，且每一张InnoDB表对应一个.ibd文件。共享表空间使用.ibdata文件，所有表共同使用一个或者多个（自行配置）.ibdata文件。
   ibdata1文件
   系统表空间数据文件，存储表元数据、Undo日志等。
   ib_logfile0、ib_logfile1文件
   Redo log日志文件。

   4.pid文件
   pid文件是mysqld引用程序在linux系统中的一个进程文件，和其他linux服务端程序一样，它存放着自己的进程ID。

   5.socket文件
   socket文件也是linux系统下才有的，用户在linux系统下客户端连接可以不通过TCP/IP网络连接而使用Unix Socket来连接MySQL。

二、MySQL运行机制

建立连接（Connectors&Connection Pool）

通过客户端/服务器通信协议与MySQL建立连接。MySQL客户端与服务端的通信方式为**半双工**。对于每一个MySQL连接，时刻都有一个线程状态来标识这个连接正在做什么。

**通信机制**：
**全双工**：能同事发送和接受数据，例如打电话，可以同时听内容和说话。
**半双工**：指某一时刻只能发送数据或者接受数据，发送与接受不能同时，例如早起对讲机。
**单工**：只能发送数据或者接受数据，例如收音机。

**线程状态**
show processlist; 查看用户正在运行的线程信息，root用户可以查看所有的线程，其他用户只能查看自己的线程。

Id: 线程ID，可以使用kill命令杀死
User：启动当前线程的用户
Host：发送请求的客户端的IP和端口号
db: 当前命令在那个数据库执行
Command: 该线程正在执行的操作命令

	Create DB:正在创建库操作
	Drop DB: 正在删除库操作
	Execute:正在执行一个PreparedStatement
	Close Stmt:正在关闭一个PreparedStatement
	Query:正在执行一个语句
	Sleep：正在等待客户端发送语句
	Quit: 正在退出
	Shutdown:正在关闭服务器
Time：表示当前线程处于当前状态的时间，单位是秒
State: 线程状态
	Updating : 正在搜索匹配记录，进行修改
	Sleeping : 正在等待客户端发送新请求
	Starting ：正在执行请求处理
	Checking table : 正在检查数据表
	Closing table : 正在将表中的数据刷新到磁盘中
	Locked : 被其他查询锁住了记录
	Sending Data ： 正在处理Select查询，同时将结果发送到客户端
Info:一般记录线程执行的语句，默认显示100字符，想要查看完整使用show full

查询缓存(Cache&Buffer)

这个一个MySQL可以优化查询的地方，如果开启了查询缓存且在查询缓存过程中查询到完全相同的SQL语句，则将查询结果直接返回给客户端；如果没有开启查询缓存或者没有查询到完全相同的SQL语句则会由解析器进行语法语义解析，生成**解析树**。

	1. 缓存Select的查询结果和SQL语句
	2. 执行Select查询时，先查询缓存，判断是否存在可用的记录集，要求是否完全相同（包括参数），这样才会命中缓存数据。
	3. 即使开启了查询缓存，下面SQL也不会命中缓存
		 (1) 查询语句中使用SQL_NO_CACHE
		 (2) 查询结果大于query_cache_limit设置
		 (3) 查询语句中有不确定的参数，比如now()
	4. 查看查询缓存是否启用，空间大小，限制等
	 show variables like '%query_cache%';
	5. 查看更详细的缓存参数，可用缓存空间，缓存块，缓存多少等
	show status like 'Qcache%';
![在这里插入图片描述](https://img-blog.csdnimg.cn/fd0e3518453446e787273aa2094b6944.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5aSn6Ieq54S255qE5Luj56CB5pCs6L-Q5bel,size_12,color_FFFFFF,t_70,g_se,x_16)

解析器(Parser)

将客户端发送的SQL进行语法解析，生成解析树。预处理器会根据一些MySQL规则进行进一步检查解析树是否合法，例如这里将检查数据表和数据列是否存在，还会解析名字与别名，看看它们是否有歧义，最后生成新的解析树。

查询优化器

根据解析树生成最优的执行计划，MySQL使用很多优化策略生成最优的执行计划，可以分为两类：静态优化（编译时优化）、动态优化（运行时优化）。

	1. 等价变换策略
		1 = 1 and a > 5 改为 a > 5
		a < b and a = 5 改为 b > 5 and a = 5
		基于联合索引，调整条件位置等。
	2. 优化max、min、count等函数
		InnoDB引擎min函数只需要找到索引最左边
		InnoDB引擎max函数只需要找到索引最右边
		MylSAM引擎count函数，不需要计算，直接返回
	3. 提前终止查询
		使用了limit查询，获取limit所需的数据，就不再遍历后面的数据
	4. in优化
		MySQL会对in查询先进行排序，然后采用二分法查找数据。
		比如 where id in (2,3,1) 会变成 where id in (1,2,3) 

查询执行引擎

负责执行SQL语句，此时查询执行引擎会根据SQL语句中的表的存储引擎类型，以及对应的API接口与底层存储引擎缓存或者物理文件进行交互，得到查询结果并返回给客户端。若开始启用查询缓存，这时会将SQL语句和结果完整地保存到查询缓存（Cache&Buffer）中，若以后有相同的SQL语句执行则直接返回结果。

	1. 如果开启了查询缓存，先将查询结果做缓存操作
	2. 返回结果过多，采用增量模式返回