MySQL高级-MySQL存储引擎
MySQL存储引擎
- 1.MySQL体系结构
- 2. 存储引擎
-
- 2.1 存储引擎概述
- 2.2 各种存储引擎特性
-
- 2.2.1 InnoDB
- 2.2.2 MyISAM
- 2.2.3 MEMORY
- 2.2.4 MERGE
- 2.3 存储引擎的选择
1.MySQL体系结构
MySQL体系结构图解释说明：
- MySQL体系结构图和我们web开发中的三层架构是十分类似的。web开发中，前台发出请求经过controller，controller调用service，service调用dao,dao再去调用数据库。
- MySQL体系结构中，最上面的部分代表的是客户端，在这些客户端的连接中，最熟悉的是JDBC,我们在程序中可以通过JDBC来操作MySQL。
- 下面的一大块就是MySQL的服务端。MySQL的服务端最上面一层是MySQL连接池，连接池中有很多的组件和模块，客户端发起连接之后，就要到MySQL连接池中获取连接，来执行对应的请求。MySQL获取连接的时候还要进行认证和一些缓存的相关操作。服务端的第二层左边的第一个是管理服务，管理服务可以进行数据备份于恢复以及集群安全等系统配置相关的工作。第二个是SQL接口，这里面可以可以封装DML,DDL以及存储过程触发器等相关数据库对象。第三个parser是解析器，解析客户端发起的请求（SQL）语句。第四个optimizer是优化器。内部要对SQL语句进行优化。第五个是缓存的相关操作，比如查询缓存中有没有对应的数据，如果有对应的缓存信息，我们直接写回去。
- 第三层是存储引擎层：MySQL的存储引擎有很多种，MySQL5.5版本之后，默认的是InnoDB。引擎可以理解为发动机，存储引擎会根据我们需求的不同而选择不同的存储引擎来存储数据。
- 第四层指的是存储层：操作MySQL数据的时候，不管是插入还是查询更新删除，最终操作的都是我们的文件系统中的文件，而文件就存储在我们的磁盘上。除此之外，还有日志信息，索引信息等等。
下面的是官方解释：
整个MySQL Server由以下组成
- Connection Pool : 连接池组件
- Management Services & Utilities : 管理服务和工具组件
- SQL Interface : SQL接口组件
- Parser : 查询分析器组件
- Optimizer : 优化器组件
- Caches & Buffers : 缓冲池组件
- Pluggable Storage Engines : 存储引擎
- File System : 文件系统
1） 连接层
最上层是一些客户端和链接服务，包含本地sock 通信和大多数基于客户端/服务端工具实现的类似于 TCP/IP的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。
2） 服务层
第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如 过程、函数等。在该层，服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化如确定表的查询的顺序，是否利用索引等， 最后生成相应的执行操作。如果是select语句，服务器还会查询内部的缓存，如果缓存空间足够大，这样在解决大量读操作的环境中能够很好的提升系统的性能。
3） 引擎层
存储引擎层， 存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API和存储引擎进行通信。不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎。
4）存储层
数据存储层， 主要是将数据存储在文件系统之上，并完成与存储引擎的交互。
和其他数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎上，插件式的存储引擎架构，将查询处理和其他的系统任务以及数据的存储提取分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。
2. 存储引擎
2.1 存储引擎概述
和大多数的数据库不同, MySQL中有一个存储引擎的概念, 针对不同的存储需求可以选择最优的存储引擎。
存储引擎就是存储数据，建立索引，更新查询数据等等技术的实现方式 。存储引擎是基于表的，而不是基于库的。所以存储引擎也可被称为表类型。(同一个数据库的不同表有可能会使用不同的存储引擎)
Oracle，SqlServer等数据库只有一种存储引擎。MySQL提供了插件式的存储引擎架构。所以MySQL存在多种存储引擎，可以根据需要使用相应引擎，或者编写存储引擎。
MySQL5.0支持的存储引擎包含 ： InnoDB 、MyISAM 、BDB、MEMORY、MERGE、EXAMPLE、NDB Cluster、ARCHIVE、CSV、BLACKHOLE、FEDERATED等，其中InnoDB和BDB提供事务安全表，其他存储引擎是非事务安全表。
MySQL5.5之前默认存储引擎为MyISAM，MySQL5.5之后默认存储引擎为InnoDB。
可以通过指定 show engines ， 来查询当前数据库支持的存储引擎 ：
mysql> show engines;
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
| Engine | Support | Comment | Transactions | XA | Savepoints |
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
| PERFORMANCE_SCHEMA | YES | Performance Schema | NO | NO | NO |
| MRG_MYISAM | YES | Collection of identical MyISAM tables | NO | NO | NO |
| CSV | YES | CSV storage engine | NO | NO | NO |
| BLACKHOLE | YES | /dev/null storage engine (anything you write to it disappears) | NO | NO | NO |
| MyISAM | YES | MyISAM storage engine | NO | NO | NO |
| MEMORY | YES | Hash based, stored in memory, useful for temporary tables | NO | NO | NO |
| ARCHIVE | YES | Archive storage engine | NO | NO | NO |
| InnoDB | DEFAULT | Supports transactions, row-level locking, and foreign keys | YES | YES | YES |
| FEDERATED | NO | Federated MySQL storage engine | NULL | NULL | NULL |
+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
9 rows in set (0.00 sec)
从显示结果我们可以看到，InnoDB的特点是支持事务、行锁、外键。
创建新表时如果不指定存储引擎，那么系统就会使用默认的存储引擎，MySQL5.5之前的默认存储引擎是MyISAM，5.5之后就改为了InnoDB。
查看Mysql数据库默认的存储引擎 ， 指令 ：
show variables like '%storage_engine%' ；
mysql> show variables like '%storage_engine%';
+----------------------------------+--------+
| Variable_name | Value |
+----------------------------------+--------+
| default_storage_engine | InnoDB |
| default_tmp_storage_engine | InnoDB |
| disabled_storage_engines | |
| internal_tmp_disk_storage_engine | InnoDB |
+----------------------------------+--------+
4 rows in set (0.04 sec)
2.2 各种存储引擎特性
下面重点介绍几种常用的存储引擎， 并对比各个存储引擎之间的区别， 如下表所示 ：
| 特点 | InnoDB | MyISAM | MEMORY | MERGE | NDB |
|---|---|---|---|---|---|
| 存储限制 | 64TB | 有 | 有 | 没有 | 有 |
| 事务安全 | 支持 | ||||
| 锁机制 | 行锁(适合高并发) | 表锁 | 表锁 | 表锁 | 行锁 |
| B树索引 | 支持 | 支持 | 支持 | 支持 | 支持 |
| 哈希索引 | 支持 | ||||
| 全文索引 | 支持(5.6版本之后) | 支持 | |||
| 集群索引 | 支持 | ||||
| 数据索引 | 支持 | 支持 | 支持 | ||
| 索引缓存 | 支持 | 支持 | 支持 | 支持 | 支持 |
| 数据可压缩 | 支持 | ||||
| 空间使用 | 高 | 低 | N/A | 低 | 低 |
| 内存使用 | 高 | 低 | 中等 | 低 | 高 |
| 批量插入速度 | 低 | 高 | 高 | 高 | 高 |
| 支持外键 | 支持 |
我们主要关注上面红色标注的三点。
下面我们将重点介绍最长使用的两种存储引擎： InnoDB、MyISAM ， 另外两种 MEMORY、MERGE ， 了解即可。
2.2.1 InnoDB
InnoDB存储引擎是Mysql的默认存储引擎。InnoDB存储引擎提供了具有提交、回滚、崩溃恢复能力的事务安全。但是对比MyISAM的存储引擎，InnoDB写的处理效率差一些，并且会占用更多的磁盘空间以保留数据和索引。
InnoDB存储引擎不同于其他存储引擎的特点 ：
事务控制
create database demo_02 default charset=utf8mb4 ;
create table goods_innodb(
id int NOT NULL AUTO_INCREMENT,
name varchar(20) NOT NULL,
primary key(id)
)ENGINE=innodb DEFAULT CHARSET=utf8;
用户1：
mysql> insert into goods_innodb(id,name) values(null,'Meta20');
Query OK, 1 row affected (0.46 sec)
用户2（开两个命令行窗口即可）：
//用户1插入数据之前
mysql> select * from goods_innodb;
Empty set (0.00 sec)
//用户1插入数据之后
mysql> select * from goods_innodb;
+----+--------+
| id | name |
+----+--------+
| 1 | Meta20 |
+----+--------+
MySQL默认执行一条数据更新语句就是使用了事务。
用户1：
mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)
mysql> insert into goods_innodb(id,name) values(null,'Meta21');
Query OK, 1 row affected (0.00 sec)
mysql> commit;
Query OK, 0 rows affected (0.00 sec)
用户2：
//用户1提交数据之后
mysql> select * from goods_innodb;
+----+--------+
| id | name |
+----+--------+
| 1 | Meta20 |
| 2 | Meta21 |
+----+--------+
2 rows in set (0.00 sec)
注意：如果开启了事务之后，事务没有提交，另一个用户看不到结果发生了更新，因为MySQL的默认隔离级别是可重复读。
测试，发现在InnoDB中是存在事务的 ；
外键约束
MySQL支持外键的存储引擎只有InnoDB ， 在创建外键的时候， 要求父表必须有对应的索引 ， 子表在创建外键的时候， 也会自动的创建对应的索引。
下面两张表中 ， country_innodb是父表 ， country_id为主键索引，city_innodb表是子表，country_id字段为外键，对应于country_innodb表的主键country_id 。
create table country_innodb(
country_id int NOT NULL AUTO_INCREMENT,
country_name varchar(100) NOT NULL,
primary key(country_id)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
create table city_innodb(
city_id int NOT NULL AUTO_INCREMENT,
city_name varchar(50) NOT NULL,
country_id int NOT NULL,
primary key(city_id),
key idx_fk_country_id(country_id),
CONSTRAINT `fk_city_country` FOREIGN KEY(country_id) REFERENCES country_innodb(country_id) ON DELETE RESTRICT ON UPDATE CASCADE
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
insert into country_innodb values(null,'China'),(null,'America'),(null,'Japan');
insert into city_innodb values(null,'Xian',1),(null,'NewYork',2),(null,'BeiJing',1);
mysql> desc city_innodb;
+------------+-------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+------------+-------------+------+-----+---------+----------------+
| city_id | int(11) | NO | PRI | NULL | auto_increment |
| city_name | varchar(50) | NO | | NULL | |
| country_id | int(11) | NO | MUL | NULL | |
+------------+-------------+------+-----+---------+----------------+
3 rows in set (0.00 sec)
mysql> desc country_innodb;
+--------------+--------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+--------------+--------------+------+-----+---------+----------------+
| country_id | int(11) | NO | PRI | NULL | auto_increment |
| country_name | varchar(100) | NO | | NULL | |
+--------------+--------------+------+-----+---------+----------------+
2 rows in set (0.00 sec)
mysql> select * from city_innodb;
+---------+-----------+------------+
| city_id | city_name | country_id |
+---------+-----------+------------+
| 1 | Xian | 1 |
| 2 | NewYork | 2 |
| 3 | BeiJing | 1 |
+---------+-----------+------------+
6 rows in set (0.01 sec)
mysql> select * from country_innodb;
+------------+--------------+
| country_id | country_name |
+------------+--------------+
| 1 | China |
| 2 | America |
| 3 | Japan |
+------------+--------------+
我们如何验证外键是否存在，我们在创建数据表的时候指定了ON DELETE RESTRICT ON UPDATE CASCADE
ON DELETE RESTRICT----->删除主表数据时，如果有关联记录，则不删除。
ON UPDATE CASCADE----->更新主表时，如果子表有关联记录，跟新子表记录。
即在创建索引时， 可以指定在删除、更新父表时，对子表进行的相应操作，包括 RESTRICT、CASCADE、SET NULL 和 NO ACTION。
RESTRICT和NO ACTION相同， 是指限制在子表有关联记录的情况下， 父表不能更新；
CASCADE表示父表在更新或者删除时，更新或者删除子表对应的记录；
在我们这里，country表是主表，city表是子表，子表中的外键country_id指向主表。如果我们删除主表中id为2的信息是不能删掉的，因为有删除限制。
mysql> delete from country_innodb where country_id=2;
ERROR 1451 (23000): Cannot delete or update a parent row: a foreign key constraint fails (`demo_02`.`city_innodb`, CONSTRAINT `fk_city_country` FOREIGN KEY (`country_id`) REFERENCES `country_innodb` (`country_id`) ON UPDATE CASCADE)
同时对于更新操作，主表更新，子表也会跟着更新
mysql> update country_innodb set country_id=100 where country_id=1;
Query OK, 1 row affected (0.05 sec)
Rows matched: 1 Changed: 1 Warnings: 0
mysql> select * from city_innodb;
+---------+-----------+------------+
| city_id | city_name | country_id |
+---------+-----------+------------+
| 1 | Xian | 100 |
| 2 | NewYork | 2 |
| 3 | BeiJing | 100 |
+---------+-----------+------------+
3 rows in set (0.00 sec)
存储方式
InnoDB 存储表和索引有以下两种方式 ：
（数据表对应的数据文件存储方式）：
①. 使用共享表空间存储， 这种方式创建的表的表结构保存在.frm文件中， 数据和索引保存在 innodb_data_home_dir 和 innodb_data_file_path定义的表空间中，可以是多个文件。
②. 使用多表空间存储， 这种方式创建的表的表结构仍然存在 .frm 文件中，但是每个表的数据和索引单独保存在 .ibd 中。
2.2.2 MyISAM
MyISAM 不支持事务、也不支持外键，其优势是访问的速度快，对事务的完整性没有要求或者以SELECT、INSERT为主的应用基本上都可以使用这个引擎来创建表 。有以下两个比较重要的特点：
不支持事务
create table goods_myisam(
id int NOT NULL AUTO_INCREMENT,
name varchar(20) NOT NULL,
primary key(id)
)ENGINE=myisam DEFAULT CHARSET=utf8;
用户1：
mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)
mysql> insert into goods_myisam(id,name) values(null,'Meta20');
Query OK, 1 row affected (0.00 sec)
用户2：
mysql> select * from goods_myisam;
+----+--------+
| id | name |
+----+--------+
| 3 | Meta20 |
+----+--------+
1 row in set (0.00 sec)
开启了事务，但没提交，另一个用户竟然查到了
通过测试，我们发现，在MyISAM存储引擎中，是没有事务控制的 ；
文件存储方式
每个MyISAM在磁盘上存储成3个文件，其文件名都和表名相同，但拓展名分别是 ：
.frm (存储表定义)；
.MYD(MYData , 存储数据)；
.MYI(MYIndex , 存储索引)；
2.2.3 MEMORY
Memory存储引擎将表的数据存放在内存中。每个MEMORY表实际对应一个磁盘文件，格式是.frm ，该文件中只存储表的结构，而其数据文件，都是存储在内存中，这样有利于数据的快速处理，提高整个表的效率。MEMORY 类型的表访问非常地快，因为他的数据是存放在内存中的，并且默认使用HASH索引 ， 但是服务一旦关闭，表中的数据就会丢失。
2.2.4 MERGE
MERGE存储引擎是一组MyISAM表的组合，这些MyISAM表必须结构完全相同，MERGE表本身并没有存储数据，对MERGE类型的表可以进行查询、更新、删除操作，这些操作实际上是对内部的MyISAM表进行的。
对于MERGE类型表的插入操作，是通过INSERT_METHOD子句定义插入的表，可以有3个不同的值，使用FIRST 或 LAST 值使得插入操作被相应地作用在第一或者最后一个表上，不定义这个子句或者定义为NO，表示不能对这个MERGE表执行插入操作。
可以对MERGE表进行DROP操作，但是这个操作只是删除MERGE表的定义，对内部的表是没有任何影响的。
假如说我们要查询user_01和user_02中的全部数据，我们就要先编写查询user_01的语句，再编写查询user_02的语句。而如果我们使用MERGE的话，就直接查询user_all就可以把原来两张表中的数据全部查询出来。
下面是一个创建和使用MERGE表的示例 ：
1）. 创建3个测试表 order_1990, order_1991, order_all , 其中order_all是前两个表的MERGE表 ：
create table order_1990(
order_id int ,
order_money double(10,2),
order_address varchar(50),
primary key (order_id)
)engine = myisam default charset=utf8;
create table order_1991(
order_id int ,
order_money double(10,2),
order_address varchar(50),
primary key (order_id)
)engine = myisam default charset=utf8;
create table order_all(
order_id int ,
order_money double(10,2),
order_address varchar(50),
primary key (order_id)
)engine = merge union = (order_1990,order_1991) INSERT_METHOD=LAST default charset=utf8;
2）. 分别向两张表中插入记录
insert into order_1990 values(1,100.0,'北京');
insert into order_1990 values(2,100.0,'上海');
insert into order_1991 values(10,200.0,'北京');
insert into order_1991 values(11,200.0,'上海');
3）. 查询3张表中的数据。
order_1990中的数据 ：
+----------+-------------+---------------+
| order_id | order_money | order_address |
+----------+-------------+---------------+
| 1 | 100.00 | 北京 |
| 2 | 100.00 | 上海 |
+----------+-------------+---------------+
order_1991中的数据 ：
+----------+-------------+---------------+
| order_id | order_money | order_address |
+----------+-------------+---------------+
| 10 | 200.00 | 北京 |
| 11 | 200.00 | 上海 |
+----------+-------------+---------------+
order_all中的数据 ：
+----------+-------------+---------------+
| order_id | order_money | order_address |
+----------+-------------+---------------+
| 1 | 100.00 | 北京 |
| 2 | 100.00 | 上海 |
| 10 | 200.00 | 北京 |
| 11 | 200.00 | 上海 |
+----------+-------------+---------------+
2.3 存储引擎的选择
在选择存储引擎时，应该根据应用系统的特点选择合适的存储引擎。对于复杂的应用系统，还可以根据实际情况选择多种存储引擎进行组合。以下是几种常用的存储引擎的使用环境。
- InnoDB : 是Mysql的默认存储引擎，用于事务处理应用程序，支持外键。如果应用对事务的完整性有比较高的要求，在并发条件下要求数据的一致性，数据操作除了插入和查询意外，还包含很多的更新、删除操作，那么InnoDB存储引擎是比较合适的选择。InnoDB存储引擎除了有效的降低由于删除和更新导致的锁定， 还可以确保事务的完整提交和回滚，对于类似于计费系统或者财务系统等对数据准确性要求比较高的系统，InnoDB是最合适的选择。
- MyISAM ： 如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性、并发性要求不是很高，要求读取和插入数据的速度比较快，那么选择这个存储引擎是非常合适的。
- MEMORY：将所有数据保存在RAM中，在需要快速定位记录和其他类似数据环境下，可以提供几块的访问。MEMORY的缺陷就是对表的大小有限制，太大的表无法缓存在内存中，其次是要确保表的数据可以恢复，数据库异常终止后表中的数据是可以恢复的。MEMORY表通常用于更新不太频繁的小表，用以快速得到访问结果。
- MERGE：用于将一系列等同的MyISAM表以逻辑方式组合在一起，并作为一个对象引用他们。MERGE表的优点在于可以突破对单个MyISAM表的大小限制，并且通过将不同的表分布在多个磁盘上，可以有效的改善MERGE表的访问效率。这对于存储诸如数据仓储等VLDB环境十分合适。