mysql逻辑架构和存储引擎

mysql的逻辑架构和存储引擎

1.mysql的逻辑架构（分层：连接、服务、引擎、存储）:

1.1 结构图：

1.2 各部分大意：

connectors：
指的是不同语言中的sql的交互
management services&utilities:
系统管理和控制工具
connection pool （连接池）：
管理缓冲用户连接，线程处理等需要缓存的需求。
负责监听对 MySQL Server 的各种请求，接收连接请求，转发所有连接请求到线程管理模块。每一个连接上 MySQL Server 的客户端请求都会被分配（或创建）一个连接线程为其单独服务。而连接线程的主要工作就是负责 MySQL Server 与客户端的通信，接受客户端的命令请求，传递 Server 端的结果信息等。线程管理模块则负责管理维护这些连接线程。包括线程的创建，线程的 cache 等。

SQL Interface:****（SQL接口）：

接受用户的SQL命令，并且返回用户需要查询的结果。比如select from就是调用SQL Interface

Parser: 解析器：

SQL命令传递到解析器的时候会被解析器验证和解析。解析器是由Lex和YACC实现的，是一个很长的脚本。

在 MySQL中我们习惯将所有 Client 端发送给 Server 端的命令都称为 query ，在 MySQL Server 里面，连接线程接收到客户端的一个 Query 后，会直接将该 query 传递给专门负责将各种 Query 进行分类然后转发给各个对应的处理模块。

主要功能：

1. 将SQL语句进行语义和语法的分析，分解成数据结构，然后按照不同的操作类型进行分类，然后做出针对性的转发到后续步骤，以后SQL语句的传递和处理就是基于这个结构的。
2. 如果在分解构成中遇到错误，那么就说明这个sql语句是不合理的

Optimizer: 查询优化器：

SQL语句在查询之前会使用查询优化器对查询进行优化。就是优化客户端请求的 query（sql语句） ，根据客户端请求的 query 语句，和数据库中的一些统计信息，在一系列算法的基础上进行分析，得出一个最优的策略，告诉后面的程序如何取得这个 query 语句的结果

他使用的是“选取-投影-联接”策略进行查询。

用一个例子就可以理解： select uid,name from user where gender = 1;

​ 这个select 查询先根据where 语句进行选取，而不是先将表全部查询出来以后再进行gender过滤

​ 这个select查询先根据uid和name进行属性投影，而不是将属性全部取出以后再进行过滤

​ 将这两个查询条件联接起来生成最终查询结果

Cache和Buffer**：** 查询缓存：

​ 他的主要功能是将客户端提交 给MySQL 的 Select 类 query 请求的返回结果集 cache 到内存中，与该 query 的一个 hash 值 做一个对应。该 Query 所取数据的基表发生任何数据的变化之后， MySQL 会自动使该 query 的Cache 失效。在读写比例非常高的应用系统中， Query Cache 对性能的提高是非常显著的。当然它对内存的消耗也是非常大的。

​ 如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等

存储引擎接口：

​ 存储引擎接口模块可以说是 MySQL 数据库中最有特色的一点了。目前各种数据库产品中，基本上只有 MySQL 可以实现其底层数据存储引擎的插件式管理。这个模块实际上只是 一个抽象类，但正是因为它成功地将各种数据处理高度抽象化，才成就了今天 MySQL 可插拔存储引擎的特色。

​ 还可以看出，MySQL区别于其他数据库的最重要的特点就是其插件式的表存储引擎。MySQL插件式的存储引擎架构提供了一系列标准的管理和服务支持，这些标准与存储引擎本身无关，可能是每个数据库系统本身都必需的，如SQL分析器和优化器等，而存储引擎是底层物理结构的实现，每个存储引擎开发者都可以按照自己的意愿来进行开发。

注意：存储引擎是基于表的，而不是数据库。

1.3 整体流程：

​ 1.首先客户端发出一个Select操作

​ 2.连接层接收后给服务层

​ 3.服务层对你的查询进行一个优化，并把优化结果给引擎层

​ 4.选择当前数据库的引擎，选完引擎后引擎将最终的数据交给了存储层

​ 5.存储层，用存储层来存数据

2.存储引擎（会InnoDB MyISAM即可）：

2.1 InnoDB：

InnoDB是事务型数据库的首选引擎：

特点：

• 该存储引擎提供了具有提交、回滚和崩溃恢复能力的事务安全（ACID兼容）。但是对比MyISAM引擎，写的处理效率会差一些，并且会占用更多的磁盘空间以保留数据和索引。
• **支持自动增长列，支持外键约束。**存储表中的数据时，每张表的存储都按主键顺序存放，如果没有显示在表定义时指定主键，InnoDB会为每一行生成一个6字节的ROWID，并以此作为主键
• InnoDB是为处理巨大数据量的最大性能设计。它的CPU效率可能是任何其他基于磁盘的关系型数据库引擎锁不能匹敌的
• InnoDB存储引擎完全与MySQL服务器整合，InnoDB存储引擎为在主内存中缓存数据和索引而维持它自己的缓冲池。InnoDB将它的表和索引在一个逻辑表空间中，表空间可以包含数个文件（或原始磁盘文件）。这与MyISAM表不同，比如在MyISAM表中每个表被存放在分离的文件中。InnoDB表可以是任何尺寸，即使在文件尺寸被限制为2GB的操作系统上

场景：

​ 由于其支持事务处理，支持外键，支持崩溃修复能力和并发控制。如果需要对事务的完整性要求比较高（比如银行），要求实现并发控制（比如售票），那选择InnoDB有很大的优势。如果需要频繁的更新、删除操作的数据库，也可以选择InnoDB，因为支持事务的提交（commit）和回滚（rollback）。

2.2 Myisam：

它是在Web、数据仓储和其他应用环境下最常使用的存储引擎之一，拥有较高的插入、查询速度，但不支持事物和外键

特点：

• 大文件（达到63位文件长度）在支持大文件的文件系统和操作系统上被支持
• 当把删除和更新及插入操作混合使用的时候，动态尺寸的行产生更少碎片。这要通过合并相邻被删除的块，以及若下一个块被删除，就扩展到下一块自动完成
• 每个MyISAM表最大索引数是64，这可以通过重新编译来改变。每个索引最大的列数是16
• 最大的键长度是1000字节，这也可以通过编译来改变，对于键长度超过250字节的情况，一个超过1024字节的键将被用上
• BLOB和TEXT列可以被索引，支持FULLTEXT类型的索引，而InnoDB不支持这种类型的索引
• NULL被允许在索引的列中，这个值占每个键的0~1个字节
• 所有数字键值以高字节优先被存储以允许一个更高的索引压缩
• 每个MyISAM类型的表都有一个AUTO_INCREMENT的内部列，当INSERT和UPDATE操作的时候该列被更新，同时AUTO_INCREMENT列将被刷新。所以说，MyISAM类型表的AUTO_INCREMENT列更新比InnoDB类型的AUTO_INCREMENT更快
• 可以把数据文件和索引文件放在不同目录
• 每个字符列可以有不同的字符集
• 有VARCHAR的表可以固定或动态记录长度
• VARCHAR和CHAR列可以多达64KB

储存格式：

1. 静态表：（默认）

   字段都是非变长的（每个记录都是固定长度的）。存储非常迅速、容易缓存，出现故障容易恢复；占用空间通常比动态表多。

2. 动态表：

   占用的空间相对较少，但是频繁的更新删除记录会产生碎片，需要定期执行optimize table或myisamchk -r命令来改善性能，而且出现故障的时候恢复比较困难。

3. 压缩表：

   使用myisampack工具创建，占用非常小的磁盘空间。因为每个记录是被单独压缩的，所以只有非常小的访问开支。

注意：

• 静态表的数据在存储的时候会按照列的宽度定义补足空格，在返回数据给应用之前去掉这些空格。如果需要保存的内容后面本来就有空格，在返回结果的时候也会被去掉。（其实是数据类型char的行为，动态表中若有这个数据类型也同样会有这个问题）
• **使用MyISAM引擎创建数据库，将产生3个文件。**文件的名字以表名字开始，扩展名之处文件类型：frm文件存储表定义、数据文件的扩展名为.MYD（MYData）、索引文件的扩展名时.MYI（MYIndex）。

场景：

如果表主要是用于插入新记录和读出记录，那么选择MyISAM能实现处理高效率。

2.3 其他:

https://blog.csdn.net/yjclsx/article/details/81911027

2.4 区别：

功能	MYISAM	Memory	InnoDB	Archive
存储限制	256TB	RAM	64TB	None
支持事务	×	×	√	×
支持全文索引	√	×	×	×
支持书索引	√	√	√	×
支持哈希索引	×	√	×	×
支持数据缓存	×	N/A	√	×
持书索引	√	√	√	×
支持哈希索引	×	√	×	×
支持数据缓存	×	N/A	√	×
支持外键	×	×	√	×