[转载] Mysql 运行原理与基础架构

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。
http://harisxiong.blog.51cto.com/7513022/1351370

Mysql 逻辑架构

1. 连接层
2. 核心服务层
3. 存储引擎层
4. 数据存储层

逻辑架构图

并发控制与锁

Mysql 中的并发控制在存储引擎层实现。
解决并发问题最有效的方案是锁的机制。

锁在功能上分为：

• 共享锁（shared lock）既读锁，可以允许其他select操作；
• 排它锁（exclusive lock）既写锁，不允许任何其他操作；

锁在粒度上分为：

• 表级锁（table lock），锁定表
• 行级锁（row lock），锁定行

Mysql中大多数事务型存储引擎都不是简单的行级锁，给予性能的考虑，一般都同事实现了 多版本并发控制（MVCC）。

MVCC （详细内容参考此文）通过保存数据中某个时间点的快照来实现，保证了每个事务看到的数据都是一致的。

事务

事务的ACID特性

1. 原子性（Atomicity）:事务中的所有操作要么全部成功，要么全部失败或回滚；
2. 一致性（Consistency）：数据库从一个一致性状态转换到另一个一致性状态；
3. 隔离性（Isolation）：事务所做的修改在未提交前对其他事务不可见；
4. 持久性（Durability）：事务提交后，所有修改会永久保存在数据库中。

事务的隔离级别

SQL标准中定义的四种隔离级别：

• READ UNCOMMITTED（读未提交）：食物中毒修改即使未提交也可以对其他事务可见；
• READ COMMITTED（读提交）：事务提交后所做的修改才会被两一个事务看到，可能会在一个事务中的两次查询结果不一致；
• REPEATABLE READ（可重读）：只有当前事务提交才能看见另一个事务的修改结果，解决了一个事务中两次查询结果不一致的问题。
• SERIALIZABLE（串行化）：只有一个事务提交之后才会执行另一个事务。

Mysql 中查询/临时修改事务隔离等级

• 查询事务隔离等级

show variables like 'tx_isolation';

• 修改事务隔离等级

set tx_isolation = 'READ-COMMITTED';

死锁

概念：两个或多个事务在同一资源上相互占用并请求锁定对方占用的资源，从而导致恶性循环的现象。

Mysql 的部分存储引擎可以检测到死锁的循环依赖并产生相应的错误。

InnoDB 引擎解决死锁的方案是将持有最少排它锁的事务进行回滚。

Mysql 存储引擎及应用方案

• Mysql 采用插件式存储引擎架构，可以根据不同的需求为不同的表设置不同点存储引擎。

表状态查询语句（以user表为例）：

USE mysql;
SHOW TABLE STATUS LIKE 'user';

查询结果：

查询结果

字段说明：

字段名	描述	备注
Name	表名
Engine	存储引擎	该表存储引擎为 MyISAM
Row_format	行格式	对于 MyISAM 有 Dynamic 、 Fixed 和 Compressed 三种，分别表示表中有可变的数据类型，表中数据类型为固定的，以及表是压缩表的环境
Rows	行数
Avg_row_length	平均行长度	单位：字节
Data_length	数据长度	单位：字节
Max_data_length	最大存储数据长度	单位：字节
Data_free	已分配但未使用的空间	包括删除数据空余出来的空间
Auto_increment	自动增长字段的值
Create_time	表的创建时间
Update_time	表数据的最后修改时间
Collation	表的默认字符集及排序规则
Checksum	表的实时校验和	可以不启用
Create_options	创建表时的一些其它选项
Comment	注释信息	根据存储引擎的不同表示的内容也不胫相同

存储引擎介绍：

InnoDB引擎：

1. 将数据存储在表空间中，表空间由一系列的数据文件组成，由 InnoDB 管理；
2. 支持每个表的数据和索引存放在单独文件中 (innodb_file_per_table) ；
3. 支持事务，采用 MVCC 来控制并发，并实现标准的 4 个事务隔离级别，支持外键；
4. 索引基于聚簇索引建立，对于主键查询有较高性能；
5. 数据文件的平台无关性，支持数据在不同的架构平台移植；
6. 能够通过一些工具支持真正的热备。如 XtraBackup 等；
7. 内部进行自身优化如采取可预测性预读，能够自动在内存中创建 hash 索引等。

MyISAM 引擎：

1. MySQL5.1 中默认，不支持事务和行级锁；
2. 提供大量特性如全文索引、空间函数、压缩、延迟更新等；
3. 数据库故障后，安全恢复性差；
4. 对于只读数据可以忍受故障恢复， MyISAM 依然非常适用；
5. 日志服务器的场景也比较适用，只需插入和数据读取操作；
6. 不支持单表一个文件，会将所有的数据和索引内容分别存在两个文件中；
7. MyISAM 对整张表加锁而不是对行，所以不适用写操作比较多的场景；
8. 支持索引缓存不支持数据缓存。

Archive 引擎：

1. 只支持 insert 和 select 操作；
2. 缓存所有的写数据并进行压缩存储，支持行级锁但不支持事务；
3. 适合高速插入和数据压缩，减少 IO 操作，适用于日志记录和归档服务器。

Blackhole 引擎：

1. 没有实现任何存储机制，会将插入的数据进行丢弃，但会存储二进制日志；
2. 会在一些特殊需要的复制架构的环境中使用。

CSV 引擎：

1. 可以打开 CSV 文件存储的数据，可以将存储的数据导出，并利用 excel 打开；
2. 可以作为一种数据交换的机制，同样经常使用。

Memory 引擎：

1. 将数据在内存中缓存，不消耗 IO ；
2. 存储数据速度较快但不会被保留，一般作为临时表的存储被使用。

Federated 引擎：

1. 能够访问远程服务器上的数据的存储引擎。
2. 能够建立一个连接连到远程服务器。

Mrg_MyISAM 引擎：

1. 将多个 MYISAM 表合并为一个。
2. 本身并不存储数据，数据存在 MyISAM 表中间。

NDB 集群引擎：

1. MySQL Cluster 专用。

第三方存储引擎

OLTP 类：

• XtraDB ： InnoDB 的改进版本。
• PBXT ：类似 InnoDB ，但提供引擎级别的复制和外键约束，适当支持 SSD 存储。
• TokuDB( 开源 ) ：支持分形树索引结构，支持海量数据的分析。

列式存储引擎（MySQL 默认是面向行的存储 ）：

• Infobright: 支持 数十 TB 的数据量，为数据分析和数据仓库设计的。数据高度压缩。
• InfiniDB: 可以在一组集群间做分布式查询，有商业版但没有典型应用案例。

社区存储引擎：

• Aria ：解决 MyISAM 崩溃安全恢复问题，并能够进行数据缓存。
• Groona: 全文索引引擎。
• QQGraph: 由 Open query 研发支持图操作，比如查找两点间最短距离。
• SphinxSE: 该引擎为 Sphinx 全文索引搜索服务器提供 SQL 接口。
• Spider: 支持 sharding 并能够基于分片实现并列查询。
• VPForMySQL: 支持垂直分区。

存储引擎选取参考因素

1. 是否有事务需求

如果需要事务支持最好选择 InnoDB 或者 XtraDB ，如果主要是 select 和 insert 操作 MyISAM 比较合适，一般使用日志型的应用。

2. 备份操作需求

如果能够关闭服务器进行备份，那么该因素可以忽略，如果需要在线进行热备份，则 InnoDB 引擎是一个不错的选择。

3. 故障恢复需求

在对恢复要求比较好的场景中推荐使用 InnoDB ，因为 MyISAM 数据损坏概率比较大而且恢复速度比较慢。

4. 性能上的需求

有些业务需求只有某些特定的存储引擎才能够满足，如地理空间索引也只有 MyISAM 引擎支持。所以在应用架构需求环境中也需要管理员折衷考虑，当然从各方面比较而言， InnoDB 引擎还是默认应该被推荐使用的。

表引擎转换方法

• 直接修改

alter table ss engine = InnoDB;

修改结果

• 备份修改

利用 mysqldump 备份工具将数据导出，修改 create table 语句中的存储引擎选项。注意修改的同时修改表名。

• 创建插入

  
  
  创建插入执行步骤