MYSQL概述
目录
MYSQL的逻辑架构
连接层
服务层
存储引擎层
存储层
基本概念介绍
连接管理与安全性
优化与执行
并发控制
锁粒度
表锁
行级锁
事务
隔离级别
死锁
事务日志
多版本并发控制MVCC
MYSQL的存储引擎
InnoDB概览
MyISAM概览
MYSQL的一些主要文件
主要配置文件
二进制日志log-bin
错误日志log-error
通用查询日志log
数据文件
SQL性能下降的原因
MYSQL常见的性能瓶颈
MYSQL性能优化的几个方面
MYSQL的逻辑架构
官方图示:
大体分为以下三层:
连接层
最上层是一些客户端和连接服务,包含本地sock通信和大多数基于客户端/服务器端工具实现的类似于TCP/IP的通信.主要完成一些类似于连接处理,授权认证,及相关的安全方案.在该层上引入了线程池的概念,为通过认证安全接入的客户端提供线程.同样在该层上可以实现基于SSL的安全链接.服务器也会为安全接入的每个客户端验证它所具有的操作权限.
服务层
第二层架构主要完成大多数的核心服务功能,如SQL接口,并完成缓存的查询,SQL的分析和优化及部分内置函数的执行.所有跨存储引擎的功能都在这一层实现,如存储过程,函数等.在该层,服务器会解析查询并创建相应的内部解析树,并对其完成相应的优化,如确定查询表的顺序,是否利用索引等,最后生成相应的执行操作.如果是select语句,服务器还会查询内部的缓存.如果缓存空间足够大,这样在解决大量读操作的环境中能够很好的提升系统的性能.
提供给客户各种可以使用的接口,许多MYSQL的核心服务都工作在这一层:查询解析,分析,优化,缓存,内置函数,存储过程, 触发器,视图等,SQL优化器也工作在此层.
存储引擎层
存储引擎负责MYSQL中数据的存储和提取,服务器通过API与存储引擎进行通信.MYSQL支持许多种存储引擎.不同的存储引擎具有的功能不同,通过show engines;可以查看存储引擎.默认为InnoDB,常用的还有MYISAM.
存储层
数据存储层,主要是将数据存储于裸设备的文件系统之上,并完成与存储引擎的交互.这层其实是属于操作系统管理的范围.
网上的图,也不错:
基本概念介绍
连接管理与安全性
每个客户端连接都会在服务器进程中拥有一个线程,这个连接的查询只会在这个单独的线程中执行,该线程只能轮流在某个CPU核心或者CPU中运行.服务器会负责缓存线程(MYSQL5.5及以后),因此不需要为每一个新建的连接创建或者销毁线程.线程创建过多会占用内存资源,增多线程的上下文切换,增加CPU的占用率.
当客户端连接到MYSQL服务器时,服务器需要对其进行认证,认证基于用户名,原始主机信息和密码.一旦客户端连接成功,服务器会继续验证该客户端是否具有执行某个特定查询的权限.
优化与执行
MYSQL会解析查询,并创建解析树,然后对其进行各种优化,包括重写查询,决定表的读取顺序,以及选择合适的索引等.
对于查询语句,在解析查询之前,服务器会先检查查询缓存,如果能够在其中找到对应的查询,服务器就不必再执行查询解析,优化和执行的整个过程,而是直接返回查询缓存中的结果集.
并发控制
MYSQL如何控制并发读写.
通过实现一个由两种类型的锁组成的锁系统来解决.这两种类型的锁通常被称为共享锁(读锁/S锁)和排它锁(写锁/X锁).
读锁是共享的,互不阻塞的.写锁是排他的,也就是说一个写锁会阻塞其他的写锁和读锁.
锁粒度
一种提高共享资源的并发性的有效方式就是让锁定对象更有选择性.尽量只锁定需要修改的部分数据,而不是所有的资源.更理想的方式是,只对会修改的数据片进行精确的锁定.锁定的数据量越少,系统的并发程度越高,只要相互不冲突即可.
加锁需要消耗资源,锁的各种操作,包括获得锁,检查锁是否已经解除,释放锁等.都会增加系统的开销.
锁策略就是在锁的开销和数据安全性之间寻求平衡.
MYSQL中两种重要的锁策略:
表锁
开销最小的策略,它会锁定整张表.一个用户在对表进行写操作前,需要先获得写锁,这会阻塞其他用户对该表的所有读写操作.只有没有写锁时,其他读取的用户才能获得读锁,读锁之间是不相互阻塞的.
行级锁
行级锁可以最大程度的支持并发处理,但同时也带来了最大的锁开销.InnoDB及其他一些存储引擎实现了行级锁.行级锁只在存储引擎层实现.
事务
可以用start transaction;语句开始一个事务,使用commit;提交事务,使用rollback;回滚事务.
ACID:原子性,一致性,隔离性,持久性.
一些存储引擎不支持事务.
脏读:脏读又称无效数据的读出，是指在数据库访问中，事务T1将某一值修改，然后事务T2读取该值，此后T1因为某种原因撤销对该值的修改，这就导致了T2所读取到的数据是无效的,指读取到了未提交的数据.针对查询.无效的数据就是脏数据.
不可重复读:不可重复读，是指在数据库访问中，一个事务范围内两个相同的查询却返回了不同数据,指只能读取到已提交的数据.针对更新.
幻读:幻读是指当事务不是独立执行时发生的一种现象，例如第一个事务对一个表中的数据进行了修改，比如这种修改涉及到表中的“全部数据行”。同时，第二个事务也修改这个表中的数据，这种修改是向表中插入“一行新数据”。那么，以后就会发生操作第一个事务的用户发现表中还存在没有修改的数据行，就好象发生了幻觉一样.一般解决幻读的方法是增加范围锁RangeS，锁定检索范围为只读，这样就避免了幻读.
隔离级别
未提交读:存在脏读,不可重复读,幻读问题.性能最快
提交读:存在不可重复读,幻读问题.通过控制只能读取已提交的数据解决了脏读问题.oracle数据库默认的隔离级别.
可重复读:存在幻读问题,通过锁住满足条件的记录解决了不可重复读问题和脏读问题. mysql数据库的默认隔离界别.
可串行化:没有安全问题,性能最慢.
InnoDB通过多版本并发控制(MVCC)和锁解决了幻读问题
InnoDB的MVCC基于乐观锁理论基础实现.
死锁
死锁是指两个或者多个事务在同一资源上相互占用,并请求锁定对方占用的资源,从而导致恶性循环的现象.不同顺序,共享资源不足或分配不当是导致死锁的主要原因.
死锁产生的四个必要条件:互斥条件,不可剥夺条件,环路等待条件,请求和保持条件.
死锁的解决方案:
- 不考虑死锁,发生后处理:鸵鸟算法.
- 不让死锁发生:死锁预防和死锁避免.
死锁预防:是通过破坏死锁产生的任意一个必要条件来预防死锁的的一种解决方案,是一种静态策略，严格控制必要条件.可能导致系统资源利用率低,系统吞吐量下降.
死锁避免:避免死锁是在资源的动态分配过程中，用某种方法去防止系统进入不安全状态，从而避免死锁.是一种动态策略.非严格控制必要条件,因为即使死锁的必要条件存在,也不一定发生死锁.死锁避免是在系统运行过程中注意避免死锁的最终发生.缺点是实现较复杂.经典的有银行家算法.
不好意思,跑题了.
为了解决死锁,数据库系统可以通过死锁检测和死锁超时机制来检测死锁的循环依赖.InnoDB处理死锁的方法是,将持有最少行级排他锁的事务进行回滚.
事务日志
使用事务日志可以帮助提高事务的效率.使用事务日志,存储引擎在修改表的数据时只需要修改其内存拷贝,再把该修改行为记录到持久化在硬盘上的事务日志中,而不用每次都将修改的数据本身持久化到磁盘.事务日志采用的是追加的方式,因此写日志的操作是磁盘上一小块区域内的顺序IO,而不像随机IO需要在磁盘的多个地方移动磁头,所以采用事务日志的方式相对来说要快得多.事务日志持久以后,内存中被修改的数据在后台可以慢慢地刷回到磁盘.我们通常称之为预写式日志,修改数据需要写两次磁盘.
MYSQL默认采用自动提交模式,也就是说,如果不是显式地开始一个事务,则每个查询都被当作一个事务执行提交操作.可以通过设置AUTOCOMMIT变量启用或者禁用自动提交模式.
SET AUTOCOMMIT = 1; SET AUTOCOMMIT = ON;
SET AUTOCOMMIT = 0; SET AUTOCOMMIT = OFF;
隐式和显式锁定
InnoDB采用的是两阶段锁定协议,在事务执行过程中,随时都可以执行锁定,锁只有在执行COMMIT或者ROLLBACK的时候才会被释放,并且所有锁都是在同一时刻被释放.如上所述为隐式锁定,InnoDB会根据隔离级别在需要的时候自动加锁.
InnoDB也支持通过特定的语句进行显式锁定.
共享锁（S）：SELECT * FROM table_name WHERE … LOCK IN SHARE MODE
排他锁（X）：SELECT * FROM table_name WHERE … FOR UPDATE
多版本并发控制MVCC
可以认为MVCC是行级锁的一个变种,但是它在很多情况下避免了加锁操作,因此开销更低.各种存储引擎大都实现了非阻塞的读操作,写操作也只锁定必要的行.
MVCC的实现,是通过保存数据在某个时间点的快照来实现的.
InnoDB的MVCC是通过在每行记录后面保存两个隐藏的列来实现的.这两个列,一个保存了行的创建时间,一个保存行的过期时间(或删除时间).当然,存储的的并不是实际的时间值,而是系统版本号.
每开始一个新的事务,系统版本号都会自动递增.事务开始时刻的系统版本号会作为事务的版本号,用来和查询到的每行记录的版本号进行比较.
好处:性能很好.
不足:额外的存储空间,更多的行检查工作,额外的维护工作.
MVCC只在提交读和可重复读两个隔离级别下工作.因为未提交读总是读取最新的数据行,而不是符合当前事务版本的数据行.而可串行化则会对所有读取的行都加锁.
MYSQL的存储引擎
在文件系统中,MYSQL将每个数据库(schema)保存为数据目录下的一个子目录.创建表时,MYSQL会在数据库子目录下创建一个和表同名的.frm文件保存表的定义,因为MYSQL使用文件系统的目录和文件来保存数据库和表的定义,大小写敏感和平台相关,Windows中,大小写不敏感,类Unix中则是大小写敏感的.不同的存储引擎保存数据和索引的方式是不同的,但表的定义则是在MYSQL服务层统一处理的.
InnoDB概览
InnoDB的数据存储在表空间中,表空间是由InnoDB管理的一个黑盒子,由一系列的数据文件组成.将每个表的数据和索引存放在单独的文件中.
InnoDB采用MVCC来支持高并发,并且实现了四个标准的隔离级别.其默认级别是可重复读,并且通过间隙锁策略防止幻读的出现.间隙锁使得InnoDB不仅仅锁定查询涉及的行,还会对索引中的间隙进行锁定,以防止幻影行的插入.
InnoDB表是基于聚簇索引建立的,聚簇索引对主键查询有很高的性能.不过它的二级索引(非主键索引)中必须包含主键列.
InnoDB能够自动在内存中创建hash索引以加速读操作的自适应哈希索引,以及能够加速插入操作的插入缓冲区.
MyISAM概览
MyISAM提供了大量的特性:全文索引,压缩,空间函数等.但MyISAM不支持事务,不支持行级锁.缺陷:崩溃后无法安全恢复.
MyISAM将表存储在两个文件中:数据文件和索引文件,分别以.MYD和.MYI为扩展名.
MyISAM对整张表加锁.
MyISAM也支持全文索引,这是一种基于分词创建的索引,可以支持复杂的查询.
| 对比项 | MyISAM | InnoDB |
|---|---|---|
| 主外键 | 不支持 | 支持 |
| 事务 | 不支持 | 支持 |
| 行锁,表锁 | 支持表锁,锁整个表,对并发操作支持不好 | 支持行锁,锁必要的行,对并发操作支持好 |
| 缓存 | 只缓存索引,不缓存真实数据. | 索引和真实数据都缓存,内存的大小对性能有决定性的影响 |
| 表空间 | 小 | 大 |
| 关注点 | 性能,适用于写频繁应用 | 事务,适用于读频繁应用 |
| 默认安装 | Y | Y |
MYSQL的一些主要文件
主要配置文件
Windows版:my.ini文件
Linux版:/etc/my.cnf文件
二进制日志log-bin
负责存储一些记录的变化情况,主要用于主从复制.
错误日志log-error
默认关闭,记录严重的警告和错误信息,每次启动和关闭的详细信息等.
通用查询日志log
默认关闭,记录查询的SQL语句,如果开启会降低MYSQL的整体性能,因为记录日志也是需要消耗系统资源的.
注意区别慢查询日志.
数据文件
frm文件用于存放表定义.
myd文件用于存放表数据.
myi文件用于存放表索引.
SQL性能下降的原因
- 执行时间长
- 等待时间长
任务完成时间=等待时间+执行时间.
导致SQL慢的原因主要有以下几点:
- SQL语句写的不好,导致索引失效或者优化器无法使用有效的优化手段进行优化.
- 索引设计有问题,没有建立有效最优的索引.
- 关联查询太多join,一种原因是业务设计有问题,没有从业务上解耦,导致太多关联,一种是不得已的需求导致太多关联.
- 服务器的一些参数设置有问题,如缓冲区大小,线程数量等.
MYSQL常见的性能瓶颈
- CPU饱和
- 磁盘I/O
- 服务器硬件限制.
MYSQL性能优化的几个方面
- 数据库和数据类型优化.
- 索引优化.
- 查询性能优化/SQL优化.
- 服务器设置优化.
- 操作系统和硬件优化.
- 应用层优化.