mysql基础架构、锁、MVCC、事务、存储引擎

还在补充。。。。

一、mysql 架构图简单分析

mysql基础架构、锁、MVCC、事务、存储引擎_第1张图片
截图.png

1. connectors

与其他编程语言中的sql 语句进行交互,如php、java等。

2. Management Serveices & Utilities

系统管理和控制工具

3. Connection Pool (连接池)

管理缓冲用户连接,线程处理等需要缓存的需求

4. SQL Interface (SQL接口)

接受用户的SQL命令,并且返回用户需要查询的结果。比如select from就是调用SQL Interface

5. Parser (解析器)

SQL命令传递到解析器的时候会被解析器验证和解析。

主要功能:

a . 将SQL语句分解成数据结构,并将这个结构传递到后续步骤,后面SQL语句的传递和处理就是基于这个结构的

b. 如果在分解构成中遇到错误,那么就说明这个sql语句是不合理的,语句将不会继续执行下去

6. Optimizer (查询优化器)

SQL语句在查询之前会使用查询优化器对查询进行优化(产生多种执行计划,最终数据库会选择最优化的方案去执行,尽快返会结果) 他使用的是“选取-投影-联接”策略进行查询。

用一个例子就可以理解: select uid,name from user where gender = 1;

这个select 查询先根据where 语句进行选取,而不是先将表全部查询出来以后再进行gender过滤

这个select查询先根据uid和name进行属性投影,而不是将属性全部取出以后再进行过滤

将这两个查询条件联接起来生成最终查询结果.

7. Cache和Buffer (查询缓存)

如果查询缓存有命中的查询结果,查询语句就可以直接去查询缓存中取数据。
这个缓存机制是由一系列小缓存组成的。比如表缓存,记录缓存,key缓存,权限缓存等

8.Engine (存储引擎)

存储引擎是MySql中具体的与文件打交道的子系统。也是Mysql最具有特色的一个地方。

Mysql的存储引擎是插件式的。它根据MySql AB公司提供的文件访问层的一个抽象接口来定制一种文件访问机制(这种访问机制就叫存储引擎)

二、mysql是怎么处理sql语句的?

首先程序的请求会通过mysql的connectors与其进行交互,请求到达后,会暂时存放在连接池(connection pool)中并由处理器(Management Serveices & Utilities)管理。当该请求从等待队列进入到处理队列,管理器会将该请求丢给SQL接口(SQL Interface)。SQL接口接收到请求后,它会判断是否有缓存;如果没有缓存命中,需要完整的走一趟流程:

(1)由SQL接口丢给后面的解释器(Parser),上面已经说到,解释器会判断SQL语句正确与否,若正确则将其转化为数据结构。

(2)解释器处理完,便来到后面的优化器(Optimizer),它会产生多种执行计划,最终数据库会选择最优化的方案去执行,尽快返会结果。

(3)确定最优执行计划后,SQL语句此时便可以交由存储引擎(Engine)处理,存储引擎将会到后端的存储设备中取得相应的数据,并原路返回给程序

注:

在第一次查询后,mysql便将查询语句以及查询结果进行hash处理并保留在缓存中,SQL查询到达之后,对其进行同样的hash处理后,将两个hash值进行对照,如果一样,则命中,从缓存中返回查询结果;

三、锁机制

参考: http://blog.jobbole.com/99413/

3.1 锁分类

读锁:

也叫共享锁、S锁,若事务T对数据对象A加上S锁,则事务T可以读A但不能修改A,其他事务只能再对A加S锁,而不能加X锁,直到T释放A上的S 锁。这保证了其他事务可以读A,但在T释放A上的S锁之前不能对A做任何修改。

写锁:

又称排他锁、X锁。若事务T对数据对象A加上X锁,事务T可以读A也可以修改A,其他事务不能再对A加任何锁,直到T释放A上的锁。这保证了其他事务在T释放A上的锁之前不能再读取和修改A。

表锁:

操作对象是数据表。Mysql大多数锁策略都支持(常见mysql innodb),是系统开销最低但并发性最低的一个锁策略。事务t对整个表加读锁,则其他事务可读不可写,若加写锁,则其他事务增删改都不行。

行级锁:

操作对象是数据表中的一行。是MVCC技术用的比较多的,但在MYISAM用不了,行级锁用mysql的储存引擎实现而不是mysql服务器。但行级锁对系统开销较大,处理高并发较好。

3.2 死锁

mysql基础架构、锁、MVCC、事务、存储引擎_第2张图片
死锁用例1
mysql基础架构、锁、MVCC、事务、存储引擎_第3张图片
死锁用例2

四、隔离级别

参考: https://www.cnblogs.com/snsdzjlz320/p/5761387.html

五、MVCC 多版本并发控制

参考: http://blog.csdn.net/chen77716/article/details/6742128

5.1 存在的意义

它使得大部分支持行锁的事务引擎,不再单纯的使用行锁来进行数据库的并发控制,取而代之的是把数据库的行锁与行的多个版本结合起来,只需要很小的开销,就可以实现非锁定读,从而大大提高数据库系统的并发性能

5.2 具体实现

不同存储引擎的MVCC实现是不同的.下面以innodb为例讲解。

六、存储引擎

InnoDB引擎:

1.将数据存储在表空间中,表空间由一系列的数据文件组成,由InnoDB管理;

2.支持每个表的数据和索引存放在单独文件中(innodb_file_per_table);

3.支持事务,采用MVCC来控制并发,并实现标准的4个事务隔离级别,支持外键;

4.索引基于聚簇索引建立,对于主键查询有较高性能;

5.数据文件的平台无关性,支持数据在不同的架构平台移植;

6.能够通过一些工具支持真正的热备。如XtraBackup等;

7.内部进行自身优化如采取可预测性预读,能够自动在内存中创建hash索引等。

MyISAM引擎:

1.MySQL5.1中默认,不支持事务和行级锁;

2.提供大量特性如全文索引、空间函数、压缩、延迟更新等;

3.数据库故障后,安全恢复性差;

4.对于只读数据可以忍受故障恢复,MyISAM依然非常适用;

5.日志服务器的场景也比较适用,只需插入和数据读取操作;

6.不支持单表一个文件,会将所有的数据和索引内容分别存在两个文件中;

7.MyISAM对整张表加锁而不是对行,所以不适用写操作比较多的场景;

8.支持索引缓存不支持数据缓存。

Archive引擎:

1.只支持insert和select操作;

2.缓存所有的写数据并进行压缩存储,支持行级锁但不支持事务;

3.适合高速插入和数据压缩,减少IO操作,适用于日志记录和归档服务器。

Blackhole引擎:

1.没有实现任何存储机制,会将插入的数据进行丢弃,但会存储二进制日志;

2.会在一些特殊需要的复制架构的环境中使用。

CSV引擎:

1.可以打开CSV文件存储的数据,可以将存储的数据导出,并利用excel打开;

2.可以作为一种数据交换的机制,同样经常使用。

Memory引擎:

1.将数据在内存中缓存,不消耗IO;

2.存储数据速度较快但不会被保留,一般作为临时表的存储被使用。

Federated引擎:

能够访问远程服务器上的数据的存储引擎。能够建立一个连接连到远程服务器。

Mrg_MyISAM引擎:

将多个MYISAM表合并为一个。本身并不存储数据,数据存在MyISAM表中间。

NDB集群引擎:

MySQL Cluster专用

存储引擎选取参考因素:

1.是否有事务需求

如果需要事务支持最好选择InnoDB或者XtraDB,如果主要是select和insert操作MyISAM比较合适,一般使用日志型的应用。

2.备份操作需求

如果能够关闭服务器进行备份,那么该因素可以忽略,如果需要在线进行热备份,则InnoDB引擎是一个不错的选择。

3.故障恢复需求

在对恢复要求比较好的场景中推荐使用InnoDB,因为MyISAM数据损坏概率比较大而且恢复速度比较慢。

4.性能上的需求

有些业务需求只有某些特定的存储引擎才能够满足,如地理空间索引也只有MyISAM引擎支持。所以在应用架构需求环境中也需要管理员折衷考虑,当然从各方面比较而言,InnoDB引擎还是默认应该被推荐使用的。

你可能感兴趣的:(mysql基础架构、锁、MVCC、事务、存储引擎)