目录
MySQL体系结构
各大存储引擎
存储引擎介绍
CSV存储引擎
archive存储引擎
Memory存储引擎
MyISAM
InnoDB
查询机制
查询执行的路径
mysql 客户端/服务端通信
通讯方式
查询状态
查询缓存
查询缓存的相关设置
不会缓存的情况
为什么mysql默认关闭了缓存开启??
查询缓存使用场景
查询优化处理
查询优化处理的三个阶段
查询优化器如何找到最优执行计划
查询优化-执行计划
查询执行引擎
返回客户端
如何定位慢SQL
慢查询日志配置
慢查询日志分析
慢查询日志分析工具
数据存储为CSV文件
不能定义没有索引、列定义必须为NOT NULL、不能设置自增列->不适合大表或大数据的在线处理
CSV数据的存储用,隔开,可直接编辑CSV文件进行数据的编排->数据安全性低
注:编辑之后,要生效使用flush table xxx命令
数据的快速导入到处
表格直接转换成CSV
压缩协议进行数据的存储
只支持insert和select两种操作
只允许自增ID列建立索引
行级锁
不支持事务
数据占用磁盘少
日志系统
大量的设备数据采集
数据都是存储在内存中,IO效率要比其他引擎高很多 服务重启数据丢失,内存数据表默认只有16M
支持hash索引,B tree索引,默认hash(查找复杂度0(1))
字段长度都是固定长度varchar(32)=char(32)
不支持大数据存储类型字段如 blog,text
表级锁
等值查找热度较高数据
查询结果内存中的计算,大多数都是采用这种存储引擎 作为临时表存储需计算的数据(临时表)
Mysql5.5版本之前的默认存储引擎
较多的系统表也还是使用这个存储引擎
系统临时表也会用到Myisam存储引擎
a,select count(*) from table 无需进行数据的扫描
b,数据(MYD)和索引(MYI)分开存储
c,表级锁
d,不支持事务
Mysql5.5及以后版本的默认存储引擎
事务ACID
行级锁
聚簇索引(主键索引)方式进行数据存储
支持外键关系保证数据完整性
五个步骤:
Mysql客户端与服务端的通信方式是“半双工” ;
全双工:双向通信,发送同时也可以接收
半双工:双向通信,同时只能接收或者是发送,无法同时做操作
单工:只能单一方向传送
半双工通信: 在任何一个时刻,要么是有服务器向客户端发送数据,要么是客户端向服务端发 送数据,这两个动作不能同时发生。所以我们无法也无需将一个消息切成小块进行传输
特点和限制: 客户端一旦开始发送消息,另一端要接收完整个消息才能响应。
客户端一旦开始接收数据没法停下来发送指令。
对于一个mysql连接,或者说一个线程,时刻都有一个状态来标识这个连接正在做什么
查看命令 show full processlist / show processlist
Sleep 线程正在等待客户端发送数据
Query 连接线程正在执行查询
Locked 线程正在等待表锁的释放
Sorting result 线程正在对结果进行排序
Sending data 向请求端返回数据
可通过kill {id}的方式进行连接的杀掉
工作原理:缓存SELECT操作的结果集和SQL语句;新的SELECT语句,先去查询缓存,判断是否存在可用的记录集;
判断标准:与缓存的SQL语句,是否完全一样,区分大小写 (简单认为存储了一个key-value结构,key为sql,value为sql查询结果集)
query_cache_type
值:0 -– 不启用查询缓存,默认值;
值:1 -– 启用查询缓存,只要符合查询缓存的要求,客户端的查询语句和记录集 都可以缓存起来,供其他客户端使用,加上 SQL_NO_CACHE将不缓存
值:2 -– 启用查询缓存,只要查询语句中添加了参数:SQL_CACHE,且符合查询 缓存的要求,客户端的查询语句和记录集,则可以缓存起来,供其他客户端使用
query_cache_size
允许设置query_cache_size的值最小为40K,默认1M,推荐设置 为:64M/128M;
query_cache_limit
限制查询缓存区最大能缓存的查询记录集,默认设置为1M
show status like 'Qcache%' 命令可查看缓存情况
以读为主的业务,数据生成之后就不常改变的业务
比如门户类、新闻类、报表类、论坛类等
优化包括重写查询、决定表的读取顺序、以及选择合适的索引
通过lex词法分析,yacc语法分析将sql语句解析成解析树 https://www.ibm.com/developerworks/cn/linux/sdk/lex/
根据mysql的语法的规则进一步检查解析树的合法性,如:检查数据的表 和列是否存在,解析名字和别名的设置。还会进行权限的验证
优化器的主要作用就是找到最优的执行计划
5 = 5 and a > 5 改写成 a > 5
a < b and a = 5 改写成 b > 5 and a = 5
基于联合索引,调整条件位置等
min函数只需找索引最左边
max函数只需找索引最右边
myisam引擎count(*)
用了limit关键字或者使用不存在的条件
先进行排序,再采用二分查找的方式
Mysql的查询优化器是基于成本计算的原则。他会尝试各种执行计划。 数据抽样的方式进行试验(随机的读取一个4K的数据块进行分析)
查询的类型,主要是用于区分普通查询、联合查询、子查询等
查询涉及到的表,直接显示表名或者表的别名
访问类型,sql查询优化中一个很重要的指标,结果值从好到坏依次是: system > const > eq_ref > ref > range > index > ALL
system:表只有一行记录(等于系统表),const类型的特例,基本不会出现,可以忽略不计
const:表示通过索引一次就找到了,const用于比较primary key 或者 unique索引
eq_ref:唯一索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键 或 唯一索引扫描
ref:非唯一性索引扫描,返回匹配某个单独值的所有行,本质是也是一种索引访问
range:只检索给定范围的行,使用一个索引来选择行
index:Full Index Scan,索引全表扫描,把索引从头到尾扫一遍
ALL:Full Table Scan,遍历全表以找到匹配的行
十分重要的额外信息
调用插件式的存储引擎的原子API的功能进行执行计划的执行
好处: mysql服务器无须保存过多的数据,浪费内存 用户体验好,马上就拿到了数据
show variables like 'slow_query_log'
set global slow_query_log = on
set global slow_query_log_file = '/var/lib/mysql/gupaoedu-slow.log'
set global log_queries_not_using_indexes = on
set global long_query_time = 0.1 (秒)
Time :日志记录的时间
User@Host:执行的用户及主机
Query_time:查询耗费时间 Lock_time 锁表时间 Rows_sent 发送给请求方的记录 条数 Rows_examined 语句扫描的记录条数 SET timestamp 语句执行的时间点
select .... 执行的具体语句
mysqldumpslow -t 10 -s at /var/lib/mysql/gupaoedu-slow.log
其他工具 mysqlsla
pt-query-digest