一文精通mysql的索引优化
索引设计原则
- 代码先行，索引后上
- 联合索引尽量覆盖条件
- 不要在小基数字段上建立索引
- 长字符串我们可以采用前缀索引
- where与order by冲突时优先where
- 基于慢sql查询做优化
Mysql如何选择合适的索引
Explain工具用法
官方文档
https://dev.mysql.com/doc/refman/5.7/en/explain-output.html
explain俩种类型
explain extended
- 会在 explain 的基础上额外提供一些查询优化的信息。紧随其后通过 show warnings 命令可以得到优化后的查询语句，从而看出优化器优化了什么。额外还有 filtered 列，是一个半分比的值，rows * filtered/100 可以估算出将要和 explain 中前一个表进行连接的行数（前一个表指 explain 中的id值比当前表id值小的 表）。
explain partitions
- 相比 explain 多了个 partitions 字段，如果查询是基于分区表的话，会显示查询将访问的分区。
- mysql5.7默认增加了这俩个字段
explain中的列
id列
- id列的编号是 select 的序列号，有几个 select 就有几个id，并且id的顺序是按 select 出现的顺序增长的。
- id列越大执行优先级越高，id相同则从上往下执行，id为NULL最后执行。
select_type列
- simple：简单查询。查询不包含子查询和union
- primary：复杂查询中最外层的select
- subquery：包含在 select 中的子查询（不在from子句中）
- derived：包含在 from 子句中的子查询。MySQL会将结果存放在一个临时表中，也称为派生表（derived）
- union：在 union 中的第二个和随后的 select
table列
- 这一列表示 explain 的一行正在访问哪个表。
- 当 from 子句中有子查询时，table列是 格式，表示当前查询依赖 id=N 的查询，于是先执行 id=N 的查询。
- 当有 union 时，UNION RESULT 的 table 列的值为
type列
- 这一列表示关联类型或访问类型，即MySQL决定如何查找表中的行，查找数据行记录的大概范围。
- 依次从最优到最差分别为：system > const > eq_ref > ref > range > index > ALL
- 一般来说，得保证查询达到range级别，最好达到ref
各种类型介绍
- NULL：mysql能够在优化阶段分解查询语句，在执行阶段用不着再访问表或索引。例如：在索引列中选取最小值，可以单独查找索引来完成，不需要在执行时访问表
- const, system：mysql能对查询的某部分进行优化并将其转化成一个常量（可以看show warnings 的结果）。用于 primary key 或 unique key 的所有列与常数比较时，所以表最多有一个匹配行，读取1次，速度比较快。system是const的特例，表里只有一条元组匹配时为system
- eq_ref：primary key 或 unique key 索引的所有部分被连接使用 ，最多只会返回一条符合条件的记录。这可能是在 const 之外最好的联接类型了，简单的 select 查询不会出现这种 type。
- ref：相比 eq_ref，不使用唯一索引，而是使用普通索引或者唯一性索引的部分前缀，索引要和某个值相比较，可能会找到多个符合条件的行。
- range：范围扫描通常出现在 in(), between ,> ,<, >= 等操作中。使用一个索引来检索给定范围的行。
- index：扫描全索引就能拿到结果，一般是扫描某个二级索引，这种扫描不会从索引树根节点开始快速查找，而是直接对二级索引的叶子节点遍历和扫描，速度还是比较慢的，这种查询一般为使用覆盖索引，二级索引一般比较小，所以这种通常比ALL快一些。
- ALL：即全表扫描，扫描你的聚簇索引的所有叶子节点。通常情况下这需要增加索引来进行优化了。
possible_keys列
- 这一列显示查询可能使用哪些索引来查找。
- explain 时可能出现 possible_keys 有列，而 key 显示 NULL 的情况，这种情况是因为表中数据不多或者mysql认为索引对此查询帮助不大，选择了全表查询。
- 如果该列是NULL，则没有相关的索引。在这种情况下，可以通过检查 where 子句看是否可以创造一个适当的索引来提高查询性能，然后用 explain 查看效果。
key列
- 这一列显示mysql实际采用哪个索引来优化对该表的访问。
- 如果没有使用索引，则该列是 NULL。如果想强制mysql使用或忽视possible_keys列中的索引，在查询中使用 force index、ignore index。
key_len列
- 这一列显示了mysql在索引里使用的字节数，通过这个值可以算出具体使用了索引中的哪些列。
key_len计算规则
- 字符串，char(n)和varchar(n)，5.0.3以后版本中，n均代表字符数，而不是字节数，如果是utf-8，一个数字 或字母占1个字节，一个汉字占3个字节
- char(n)：如果存汉字长度就是 3n 字节
- varchar(n)：如果存汉字则长度是 3n + 2 字节，加的2字节用来存储字符串长度，因为 varchar是变长字符串
- 数值类型
- tinyint：1字节
- smallint：2字节
- int：4字节
- bigint：8字节
- 时间类型
- date：3字节
- timestamp：4字节
- datetime：8字节
- 如果字段允许为 NULL，需要1字节记录是否为 NULL
- 索引最大长度是768字节，当字符串过长时，mysql会做一个类似左前缀索引的处理，将前半部分的字符提取出来做索引。
ref列
- 这一列显示了在key列记录的索引中，表查找值所用到的列或常量，常见的有：const（常量），字段名（例：film.id）
rows列
- 这一列是mysql估计要读取并检测的行数，注意这个不是结果集里的行数。
Extra列
- 这一列展示的是额外信息。
常见的值
Using index：使用覆盖索引
- 覆盖索引定义：mysql执行计划explain结果里的key有使用索引，如果select后面查询的字段都可以从这个索引的树中获取，这种情况一般可以说是用到了覆盖索引，extra里一般都有using index；
- 覆盖索引一般针对的是辅助索引，整个 查询结果只通过辅助索引就能拿到结果，不需要通过辅助索引树找到主键，再通过主键去主键索引树里获取其它字段值；
Using where：使用 where 语句来处理结果，并且查询的列未被索引覆盖
Using index condition：查询的列不完全被索引覆盖，where条件中是一个前导列的范围
Using temporary：mysql需要创建一张临时表来处理查询。出现这种情况一般是要进行优化的，首先是想到用索引来优化。 - 例如distinct无索引的字段，需要创建临时表。加上索引后可以优化为Using index（覆盖索引）
Using filesort：将用外部排序而不是索引排序，数据较小时从内存排序，否则需要在磁盘完成排序。这种情况下一般也是要考虑使用索引来优化的（变为覆盖索引）
Select tables optimized away：使用某些聚合函数（比如 max、min）来访问存在索引的某个字段
trace工具用法
使用方式
‐‐ 开启trace
set session optimizer_trace="enabled=on",end_markers_in_json=on;
-- 查询数据
select * from employees where name > 'a' order by position;
-- 查看trace信息
SELECT * FROM information_schema.OPTIMIZER_TRACE;
常见的trace字段信息
- “join_preparation”: ‐‐第一阶段：SQL准备阶段，格式化sql
- “join_optimization”: ‐‐第二阶段：SQL优化阶段
- “condition_processing”: ‐‐条件处理
- “table_dependencies”: ‐‐表依赖详情
- “rows_estimation”: ‐‐预估表的访问成本
- “table_scan”: ‐‐全表扫描情况
- “rows”: 10123, ‐‐扫描行数
- “cost”: 2054.7 ‐‐查询成本
- “potential_range_indexes”: ‐‐查询可能使用的索引
- “index”: “PRIMARY”, ‐‐主键索引
- “index”: “idx_name_age_position”, ‐‐辅助索引
- “analyzing_range_alternatives”: ‐‐分析各个索引使用成本
- “rowid_ordered”: false, ‐‐使用该索引获取的记录是否按照主键排序
- “index_only”: false, ‐‐是否使用覆盖索引
- “rows”: 5061, ‐‐索引扫描行数
- “cost”: 6074.2, ‐‐索引使用成本
- “chosen”: false, ‐‐是否选择该索引
- “best_access_path”: ‐‐最优访问路径
- “considered_access_paths”: ‐‐最终选择的访问路径
- “access_type”: “scan”, ‐‐访问类型：为scan，全表扫描
- “chosen”: true, ‐‐确定选择
- “join_execution”: ‐‐第三阶段：SQL执行阶段
最终选择方式
- 从索引，全表扫描中选择cost值最小的一种进行执行
常用的优化手段
全值匹配
- 字段等于一个值，这样的方式走索引查询速度比较快
最左前缀法则
- 如果索引了多列，要遵守最左前缀法则。
- 索引的最左前列开始并且不跳过索引中的列。
- 不要直接使用右边的列，按照索引顺序进行使用列。
不在索引列上做任何操作
- 计算、函数、（自动or手动）类型转换，大部分情况下会导致索引失效而转向全表扫描
- date(日期字段) =‘2022‐02‐29’;这样的值可以优化为： hire_time >=‘2022‐02‐29 00:00:00’ and hire_time < =‘2022‐02‐29 23:59:59’ 可能会走索引
范围查找优化
- 尽量不要使用< 小于、 > 大于、 <= 小于等于、>= 大于等于 这种范围查找
- not in ，not exists 可能筛选后还有大量的结果集，不走索引的可能性很大
- 筛选后结果集较小，可能会走索引。比如查询 > ‘a’ 不会走索引、查询 > ‘z’ 会走索引
- mysql内部优化器会根据检索比例、表大小等多个因素整体评估是否使用索引
- 将大的范围进行拆分为小的范围，可能走索引
- 联合索引第一个字段用范围大概率不会走索引。mysql内部可能觉得第一个字段就用范围，结果集应该很大，回表效率不高，还不如就全表扫描
减少 select * 语句
- 尽量不使用*号，使用字段替换，减少sql优化器的压力。
- 尽量使用覆盖索引（只访问索引的查询（索引列包含查询列））
is null,is not null 一般情况下也无法使用索引
- 筛选后的结果集一般会很大，所以不走索引的可能性很大
like以通配符开头（’$abc…’）可能会导致索引失效
- 尽量使用右模糊去查询
- 使用覆盖索引可能让左模糊使用索引
- 不能使用覆盖索引的则可能需要借助搜索引擎
- like KK% 一般情况都会走索引
字符串不加单引号索引失效
- 由于mysql内部的优化器在等号俩边数据不一致的时候会做隐式转换，将字段变为数字进行匹配。
- 如果字段是树值类型，会将我们传入的值进行函数计算，所以会走索引。
少用or或in
- 用它查询时，mysql不一定使用索引，mysql内部优化器会根据检索比例、表大小等多个因素整体评 估是否使用索引
- in和or在表数据量比较大的情况会走索引，在表记录不多的情况下会选择全表扫描
Order by与Group by优化
- Order by与Group by优化核心点是在要处理的字段上加索引
- MySQL支持两种方式的排序filesort和index，Using index是指MySQL扫描索引本身完成排序。index 效率高，filesort效率低。
- order by语句使用索引最左前列、使用where子句与order by子句条件列组合满足索引最左前列。这两种情况会使用Using index。
- 尽量在索引列上完成排序，遵循索引建立（索引创建的顺序）时的最左前缀法则。
- 如果order by的条件不在索引列上，就会产生Using filesort。
- 能用覆盖索引尽量用覆盖索引。
- group by与order by很类似，其本质是先排序后分组，遵照索引创建顺序的最左前缀法则。
- 对于group by的优化如果不需要排序的可以加上order by null禁止排序。
- where高于having，能写在where中 的限定条件就不要去having限定了
in和exsits优化
- 小表驱动大表，即小的数据集驱动大的数据集
- in：当B表的数据集小于A表的数据集时，in优于exists
select * from A where id in (select id from B) #等价于： for(select id from B){ select * from A where A.id = B.id } - exists：当A表的数据集小于B表的数据集时，exists优于in。将主查询A的数据，放到子查询B中做条件验证，根据验证结果（true或false）来决定主查询的数据是否保留
select * from A where exists (select 1 from B where B.id = A.id)
#等价于:
for(select * from A){
select * from B where B.id = A.id
}
- EXISTS (subquery)只返回TRUE或FALSE,因此子查询中的SELECT * 也可以用SELECT 1替换,官方说法是实际执行时会 忽略SELECT清单,因此没有区别
- EXISTS子查询的实际执行过程可能经过了优化而不是我们理解上的逐条对比
- EXISTS子查询往往也可以用JOIN来代替，何种最优需要具体问题具体分析
count(*)查询优化
- 字段有索引：count(*)≈count(1)>count(字段)>count(主键 id) //字段有索引，count(字段)统计走二级索引，二级索引存储数据比主键索引少，所以count(字段)>count(主键 id)
- 字段无索引：count(*)≈count(1)>count(主键 id)>count(字段) //字段没有索引count(字段)统计走不了索引，count(主键 id)还可以走主键索引，所以count(主键 id)>count(字段)
- count(1)跟count(字段)执行过程类似，不过count(1)不需要取出字段统计，就用常量1做统计，count(字段)还需要取出字段，所以理论上count(1)比count(字段)会快一点。
- count() 是例外，mysql并不会把全部字段取出来，而是专门做了优化，不取值，按行累加，效率很高，所以不需要用count(列名)或count(常量)来替代 count()。
- 为什么对于count(id)，mysql最终选择辅助索引而不是主键聚集索引？因为二级索引相对主键索引存储数据更少，检索性能应该更高，mysql内部做了点优化(应该是在5.7版本才优化)。
- 查询不具体的行数可以使用：show table status like ‘表名’
- 增加数据库计数表：做一次冗余
强制走索引
- 使用方式：select * from 表 force index(使用的索引) where …
索引下推（Index Condition Pushdown，ICP）
- like KK%其实就是用到了索引下推优化
什么是索引下推
- 对于辅助的联合索引，正常情况按照最左前缀原则，第一个字段进行模糊匹配，这种情况只会走第一个字段索引，因为根据第一个字段过滤完，得到的索引行里的剩余字段是无序的，无法很好的利用索引。
- 在MySQL5.6之前的版本，这个查询只能在联合索引里匹配到第一个字段开头的索引，然后拿这些索引对应的主键逐个回表，到主键索引上找出相应的记录，再比对剩余字段的值是否符合。
- MySQL 5.6引入了索引下推优化，可以在索引遍历过程中，对索引中包含的所有字段先做判断，过滤掉不符合条件的记录之后再回表，可以有效的减少回表次数。使用了索引下推优化后，上面那个查询在联合索引里匹配到第一个字段开头的索引之后，同时还会在索引里过滤其余字段这两个字段，拿着过滤完剩下的索引对应的主键id再回表查整行数据。
- 索引下推会减少回表次数，对于innodb引擎的表索引下推只能用于二级索引，innodb的主键索引（聚簇索引）树叶子节点上保存的是全行数据，所以这个时候索引下推并不会起到减少查询全行数据的效果。
为什么范围查找Mysql没有用索引下推优化？
- 估计应该是Mysql认为范围查找过滤的结果集过大，like KK% 在绝大多数情况来看，过滤后的结果集比较小，所以这里Mysql选择给 like KK% 用了索引下推优化，当然这也不是绝对的，有时like KK% 也不一定就会走索引下推。
Using filesort文件排序原理详解
filesort文件排序方式
- 单路排序：是一次性取出满足条件行的所有字段，然后在sort buffer中进行排序；用trace工具可以看到sort_mode信息里显示< sort_key, additional_fields >或者< sort_key, packed_additional_fields >
- 双路排序（又叫回表排序模式）：是首先根据相应的条件取出相应的排序字段和可以直接定位行数据的行ID，然后在 sort buffer 中进行排序，排序完后需要再次取回其它需要的字段；用trace工具 可以看到sort_mode信息里显示< sort_key, rowid >
设置使用的模式
- MySQL 通过比较系统变量 max_length_for_sort_data(默认1024字节) 的大小和需要查询的字段总大小来 判断使用哪种排序模式。
- 如果字段的总长度小于max_length_for_sort_data ，那么使用单路排序模式。
- 如果字段的总长度大于max_length_for_sort_data ，那么使用双路排序模式。
Join关联查询优化
优化方式
- 关联字段加索引，让mysql做join操作时尽量选择NLJ算法
- 小表驱动大表，写多表连接sql时如果明确知道哪张表是小表可以用straight_join写法固定连接驱动方式，省去 mysql优化器自己判断的时间
mysql的表关联常见有两种算法
- 嵌套循环连接 Nested-Loop Join(NLJ) 算法：一次一行循环地从第一张表（称为驱动表）中读取行，在这行数据中取到关联字段，根据关联字段在另一张表（被驱动 表）里取出满足条件的行，然后取出两张表的结果合集。
- 基于块的嵌套循环连接 Block Nested-Loop Join(BNL)算法：把驱动表的数据读入到 join_buffer 中，然后扫描被驱动表，把被驱动表每一行取出来跟 join_buffer 中的数据做对比。
straight_join
- straight_join功能同join类似，但能让左边的表来驱动右边的表，能改表优化器对于联表查询的执行顺序
- straight_join只适用于inner join，并不适用于left join，right join。（因为left join，right join已经代表指定了表的执行顺序）
- 尽可能让优化器去判断，因为大部分情况下mysql优化器是比人要聪明的。使用straight_join一定要慎重，因为部分情况下人为指定的执行顺序并不一定会比优化引擎要靠谱。
数值类型的长度表示什么？
- 这个长度不是TINYINT类型存储的最大长度，而是显示的最大长度。
- char类型长度不足会默认补空格
idTINYINT(2) UNSIGNED ZEROFILL 创建字段的时候，如果加上UNSIGNED ZEROFILL会在数字前面补0。- 如果指定TINYINT(5)，那输出就是00005，其实实际存储的值还是5，而且存储的数据不会超过255，只是MySQL输出数据时在前面填充了0。
- 换句话说，在MySQL命令中，字段的类型长度TINYINT(2)、INT(11)不会影响数据的插入，只会在使用ZEROFILL时有用，让查询结果前填充0。
结束语
- 获取更多有价值的文章，让我们一起成为架构师！
- 关注公众号，可以让你逐步对MySQL以及并发编程有更深入的理解！
- 这个公众号，无广告！！！每日更新！！！
