数据库存储引擎2020-08-12

数据库存储引擎

image.png

服务层

第二层是MySQL的核心，MySQL的核心服务层都在这一层，查看解析，SQL执行计划、SQL执行计划优化、查询缓存。以及跨存储引擎的功能都在这一层实现：存储功能、触发器、视图等。通过下图来观察服务层的内部结构。

image.png

存储引擎层

负责MySQL中数据的存储和提取。服务器中的查询执行引擎通过AP与存储引擎通信，通过接口屏蔽了不同存储引擎之间的差异。MySQL采用插件式的存储引擎。MySQL为我们提供了很多的存储引擎，每种存储引擎有不同的特点。我们根据不同的业务特点，选择最合适的存储引擎。如果对于存储引擎的性能不满意，可以通过修改源码来达到自己想要的性能。例如阿里巴巴的X-engine，为了满足企业需求facebook和goole都对InnoDB进行了扩充。

查看存储引擎

show engines;

MySQL引擎之MyISAM

MySQL5.5之前的版本默认存储引擎

MyISAM存储引擎表有MYD（数据文件）和MYI（索引文件）组成。

什么是锁

锁主要是管理共享资源的并发访问。

锁用于实现事务的隔离性

锁的类型

• 共享锁（也称读锁），针对同一份数据，多个操作可以同时进行不相互影响
• 独占锁（也称写锁），当前写操作没有完成前，他会阻断其他写锁和读锁

锁的粒度

• 表级锁
• 行级锁

MyISAM

• 并发性与锁级别
• 表损坏修复

repair table 表名称;

• MyISAM表支持数据压缩（如果表中数据发生变化就要重新压缩）

myisampack -b -f myIsam.MYI

• 节约空间
• 访问速度快

MyISAM存储引擎限制

• 版本
• 版本>MySQL5.0是默认支持256TB

事务场景

• 非事务性应用
• 只读类应用

MySQL引擎之InnoDB

MySQL引擎之InnoDB

MySQL5.5 及之后版本默认存储引擎,支持事务的ACID特性

Innodb使用表空间进行数据存储

show variables like 'innodb_file_per_table';
默认on
set global variables=off;
设置为off  

on：独立表空间，tablename.ibd（在所属数据库目录文件下）
off：系统表空间：ibdataX X是一个数字（在data目录文件下）

系统表空间和独立表空间如何选择

• 系统表空间会产生IO瓶颈，刷新数据是顺序进行的所以会产生文件的IO瓶颈
• 独立表空间可以同时向多个文件刷新数据

Innodb存储引擎的特性

• 支持事务的ACID特性
• Innodb支持行级锁，可以最大程度的支持并发

MyISAM和InnoDB对比

image.png

MySQL引擎之CSV

MySQL引擎之CSV

文件存储特点

数据以文本方式存储在文件中
.csv文件存储表内容
.csm文件存储表的元数据如表状态和数据量
.frm文件存储表结构信息

特点

以csv格式进行存储
注意：- 该类型文件不支持自增
- 不支持索引
- 不支持空的字段

使用场景

• 适合作为数据交换的中间表

MySQL引擎之Memory

MySQL引擎之Memory

也称heap存储引擎，所有数据保存在内存中，如果重启MySQL服务数据会丢失，但是表结构会保存下来

功能特点

• 支持hash索引和btree索引
  • 一般默认为hash索引
  • 设置为btree索引语法

create index 索引名称 using btree on 表名称(字段名称);

• 所有字段都为固定长度 varchar(10)=char(10)
• 不支持blog和text等大字段
• Memory存储引擎使用表级锁

如何选择存储引擎

大部分情况下，InnoDB都是正确的选择，可以简单的归纳为一句话“除非需要用到InnoDB不具有的特性，并且没有其他办法可以替代，否则都应该优先选择InnoDB存储引擎”

参考条件

事务

如果应用需要事务支持，那么InnoDB或者XtraDB是目前最稳定和经过验证的选择

备份

如果可以定期的关闭服务器来执行备份，那么备份的因素可以忽略。反之，如果需要在线热备份，那么选择InnoDB就是基本的要求

崩溃恢复

MyISAM据库存储引擎

应用举例

• 日志型应用（MyISM）
• 只读或者大部分情况下只读的表（MyISM）
• 订单处理（InnoDB）

MySQL基准测试

什么是基准测试

基准测试是一种测量和评估软件性能指标的活动用于建立某个时刻的性能基准，以便当系统发生软硬件变化时重新进行基准测试以评估变化对性能的影响。

基准测试是针对系统设置的一种压力测试

基准测试特点

直接、简洁、易于比较，用于评估服务器的处理能力

可能不关心业务逻辑，所使用的查询和业务的真实性可以和业务环境没关系

压力测试特点

• 对真实的业务数据进行测试，获得真实业务系统所能承受的能力
• 需要针对不同主题，所使用到的数据和查询也是真实用到的
• 基准测试就是简化了压力测试

基准测试的目的

• 建立MySQL服务器的性能基准线，确定当前MySQL服务器的运行情况，确定优化之后的效果
• 模拟比当前系统更高的负载，以找出系统的扩展瓶颈，可以增加数据库并发，观察QPS(每秒处理查询数)，TPS(每秒处理事务数)变化，确定并发量与性能最优关系
• 测试不同硬件、软件和操作系统的配置
• 证明新的硬件设备是否配置正确

如何进行基准测试

对整个系统进行基准测试

优点

• 能测试整个系统的性能，包括服务器缓存、数据库等
• MySQL并不总是出现性能问题的瓶颈，如果只关注MySQL可能会忽略其他问题，能反映出系统中各个组件接口间的性能问题，体现真实性能情况

缺点

• 基准测试最主要的就是简单，可能对不同的方案进行测试，找到最优的方案，基准测试进行的时间一定要短，否则就要花费大量的时间进行基准测试。
• 测试复杂，消耗时间长

对MySQL进行基准测试

优点

• 测试设计简单，消耗时间短

缺点

• 无法全面了解真个系统的性能基线

MySQL基准测试的常见指标

• 单位时间内处理的事务数(TPS)
• 单位时间内处理的查询数(QPS)

MySQL基准测试工具

MySQL基准测试之mysqlslap

• 可以模拟服务器负载，输出相关统计信息

常用参数说明

• --auto-generate-sql 由系统自动生成SQL脚本进行测试
• --auto-generate-sql-add-autoincrement 在生成的表中增加自增ID
• --auto-generate-sql-load-type 指定测试中使用的查询类型 读写或者混合,默认是混合
• --auto-generate-sql-write-number 指定初始化数据时生成的数据量
• --concurrency 指定并发线程的数量 1,10,50,200
• --engine 指定要测试表的存储引擎,可以用逗号分割多个存储引擎
• --no-drop 指定不清理测试数据
• --iterations 指定测试运行的次数 指定了这个不能指定no-drop
• --number-of-queries 指定每一个线程执行的查询数量
• --debug-info 指定输出额外的内存及CPU统计信息
• --number-int-cols 指定测试表中包含的INT类型列的数量
• --number-char-cols 指定测试表中包含的varchar类型的数量
• --create-schema 指定了用于执行测试的数据库的名字
• --query 用于指定自定义SQL的脚本
• --only-print 并不运行测试脚本,而是把生成的脚本打印出来

• 一条测试语句

mysqlslap --concurrency=1,50,100,200 --iterations=3 --number-int-cols=5 --number-char-cols=5 --auto-generate-sql --auto-generate-sql-add-autoincrement --engine=myisam,innodb --number-of-queries=10 --create-schema=test  -uroot -proot

sysbench测试工具：
https://www.cnblogs.com/kismetv/archive/2017/09/30/7615738.html

image.png

image.png