MySQL索引详解

文章目录

    • 索引介绍
    • 索引的优缺点
      • 优点
      • 缺点
    • 索引的底层数据结构
      • Hash 表
      • B 树& B+树
        • B 树& B+树两者有何异同
        • MySQL 中,MyISAM 引擎和 InnoDB 引擎使用 B+Tree 的差异
    • 索引类型总结
      • 按照数据结构维度划分
        • BTree 索引
        • 哈希索引
        • RTree 索引
        • 全文索引
      • 按照底层存储方式角度划分
        • 聚簇索引(聚集索引)
        • 非聚簇索引(非聚集索引)
      • 按照应用维度划分
        • 主键索引
        • 普通索引
        • 唯一索引
        • 覆盖索引
        • 联合索引
        • 全文索引
      • MySQL 8.x 中实现的索引新特性
        • 隐藏索引
        • 降序索引
        • 函数索引
    • 主键索引(Primary Key)
    • 二级索引
      • 唯一索引(Unique Key)
      • 普通索引(Index)
      • 前缀索引(Prefix)
      • 全文索引(Full Text)
    • 聚簇索引与非聚簇索引
      • 聚簇索引(聚集索引)
        • 聚簇索引介绍
        • 聚簇索引的优缺点
          • 优点
          • 缺点
      • 非聚簇索引(非聚集索引)
        • 非聚簇索引介绍
        • 非聚簇索引的优缺点
          • 优点
          • 缺点
    • 非聚簇索引一定回表查询吗(覆盖索引)
    • 覆盖索引和联合索引
      • 覆盖索引
      • 联合索引
        • 最左前缀匹配原则
    • 索引下推
      • 索引下推的具体实践
        • 没有使用ICP
        • 使用ICP
      • 索引下推使用条件
    • 正确使用索引的一些建议
      • 选择合适的字段创建索引
      • 被频繁更新的字段应该慎重建立索引
      • 限制每张表上的索引数量
      • 尽可能的考虑建立联合索引而不是单列索引
      • 注意避免冗余索引
      • 字符串类型的字段使用前缀索引代替普通索引
      • 避免索引失效
      • 删除长期未使用的索引
      • 知道如何分析语句是否走索引

善用索引对 SQL 的性能提升非常明显,是一个性价比较高的 SQL 优化手段。

索引介绍

索引是一种用于快速查询和检索数据的数据结构,其本质可以看成是一种排序好的数据结构。
索引的作用就相当于书的目录。打个比方: 我们在查字典的时候,如果没有目录,那我们就只能一页一页的去找我们需要查的那个字,速度很慢。如果有目录了,我们只需要先去目录里查找字的位置,然后直接翻到那一页就行了。索引底层数据结构存在很多种类型,常见的索引结构有: B 树, B+树 和 Hash、红黑树。在 MySQL 中,无论是 Innodb 还是 MyIsam,都使用了 B+树作为索引结构。

索引的优缺点

优点

1、使用索引可以大大加快 数据的检索速度(大大减少检索的数据量), 这也是创建索引的最主要的原因。
2、通过创建唯一性索引,可以保证数据库表中每一行数据的唯一性。

缺点

1、创建索引和维护索引需要耗费许多时间。当对表中的数据进行增删改的时候,如果数据有索引,那么索引也需要动态的修改,会降低 SQL 执行效率。
2、索引需要使用物理文件存储,也会耗费一定空间。

但是,使用索引一定能提高查询性能吗?
大多数情况下,索引查询都是比全表扫描要快的。但是如果数据库的数据量不大,那么使用索引也不一定能够带来很大提升。

索引的底层数据结构

Hash 表

哈希表是键值对的集合,通过键(key)即可快速取出对应的值(value),因此哈希表可以快速检索数据(接近 O(1))。

为何能够通过 key 快速取出 value 呢? 原因在于 哈希算法(也叫散列算法)。通过哈希算法,我们可以快速找到 key 对应的 index,找到了 index 也就找到了对应的 value。

但是!哈希算法有个*** Hash 冲突*** 问题,也就是说多个不同的 key 最后得到的 index 相同。通常情况下,我们常用的解决办法是*** 链地址法***。链地址法就是将哈希冲突数据存放在链表中。就比如 JDK1.8 之前 HashMap 就是通过链地址法来解决哈希冲突的。不过,JDK1.8 以后HashMap为了减少链表过长的时候搜索时间过长引入了红黑树。

为了减少 Hash 冲突的发生,一个好的哈希函数应该“均匀地”将数据分布在整个可能的哈希值集合中。
既然哈希表这么快,为什么 MySQL 没有使用其作为索引的数据结构呢? 主要是因为*** Hash 索引不支持顺序和范围查询***。假如我们要对表中的数据进行排序或者进行范围查询,那 Hash 索引可就不行了。并且,每次 IO 只能取一个。

试想一种情况:SELECT * FROM tb1 WHERE id < 500;
在这种范围查询中,优势非常大,直接遍历比 500 小的叶子节点就够了。而 Hash 索引是根据 hash 算法来定位的,难不成还要把 1 - 499 的数据,每个都进行一次 hash 计算来定位吗?这就是 Hash 最大的缺点了。

B 树& B+树

B 树也称 B-树,全称为 ***多路平衡查找树 ***,B+ 树是 B 树的一种变体。B 树和 B+树中的 B 是 Balanced (平衡)的意思。目前大部分数据库系统及文件系统都采用 B-Tree 或其变种 B+Tree 作为索引结构。

B 树& B+树两者有何异同

1、B 树的所有节点既存放键(key) 也存放 数据(data),而 B+树只有叶子节点存放 key 和 data,其他内节点只存放 key。
2、B 树的叶子节点都是独立的;B+树的叶子节点有一条引用链指向与它相邻的叶子节点。
3、B 树的检索的过程相当于对范围内的每个节点的关键字做二分查找,可能还没有到达叶子节点,检索就结束了。而 B+树的检索效率就很稳定了,任何查找都是从根节点到叶子节点的过程,叶子节点的顺序检索很明显。

MySQL 中,MyISAM 引擎和 InnoDB 引擎使用 B+Tree 的差异

MyISAM 引擎中,B+Tree 叶节点的 data 域存放的是数据记录的地址。在索引检索的时候,首先按照 B+Tree 搜索算法搜索索引,如果指定的 Key 存在,则取出其 data 域的值,然后以 data 域的值为地址读取相应的数据记录。这被称为非聚簇索引(非聚集索引)

InnoDB 引擎中,其数据文件本身就是索引文件。相比 MyISAM,索引文件和数据文件是分离的,其表数据文件本身就是按 B+Tree 组织的一个索引结构,树的叶节点 data 域保存了完整的数据记录。这个索引的 key 是数据表的主键,因此 InnoDB 表数据文件本身就是主索引。这被称为聚簇索引(聚集索引),而其余的索引都作为 辅助索引 ,辅助索引的 data 域存储相应记录主键的值而不是地址,这也是和 MyISAM 不同的地方。在根据主索引搜索时,直接找到 key 所在的节点即可取出数据;在根据辅助索引查找时,则需要先取出主键的值,再走一遍主索引。 因此,在设计表的时候,不建议使用过长的字段作为主键,也不建议使用非单调的字段作为主键,这样会造成主索引频繁分裂。

索引类型总结

按照数据结构维度划分

BTree 索引

MySQL 里默认和最常用的索引类型。只有叶子节点存储 value,非叶子节点只有指针和 key。存储引擎 MyISAM 和 InnoDB 实现 BTree 索引都是使用 B+Tree,但二者实现方式不一样(前面已经介绍了)。

哈希索引

类似键值对的形式,一次即可定位。

RTree 索引

一般不会使用,仅支持 geometry 数据类型,优势在于范围查找,效率较低,通常使用搜索引擎如 ElasticSearch 代替。

全文索引

对文本的内容进行分词,进行搜索。目前只有 CHAR、VARCHAR ,TEXT 列上可以创建全文索引。一般不会使用,效率较低,通常使用搜索引擎如 ElasticSearch 代替。

按照底层存储方式角度划分

聚簇索引(聚集索引)

索引结构和数据一起存放的索引,InnoDB 中的主键索引就属于聚簇索引。

非聚簇索引(非聚集索引)

索引结构和数据分开存放的索引,二级索引(辅助索引)就属于非聚簇索引。MySQL 的 MyISAM 引擎,不管主键还是非主键,使用的都是非聚簇索引。

按照应用维度划分

主键索引

加速查询 + 列值唯一(不可以有 NULL)+ 表中只有一个。

普通索引

仅加速查询。

唯一索引

加速查询 + 列值唯一(可以有 NULL)。

覆盖索引

一个索引包含(或者说覆盖)所有需要查询的字段的值。

联合索引

多列值组成一个索引,专门用于组合搜索,其效率大于索引合并。

全文索引

对文本的内容进行分词,进行搜索。目前只有 CHAR、VARCHAR ,TEXT 列上可以创建全文索引。一般不会使用,效率较低,通常使用搜索引擎如 ElasticSearch 代替。

MySQL 8.x 中实现的索引新特性

隐藏索引

也称为不可见索引,不会被优化器使用,但是仍然需要维护,通常会软删除和灰度发布的场景中使用。主键不能设置为隐藏(包括显式设置或隐式设置)。

降序索引

之前的版本就支持通过 desc 来指定索引为降序,但实际上创建的仍然是常规的升序索引。直到 MySQL 8.x 版本才开始真正支持降序索引。另外,在 MySQL 8.x 版本中,不再对 GROUP BY 语句进行隐式排序。

函数索引

从 MySQL 8.0.13 版本开始支持在索引中使用函数或者表达式的值,也就是在索引中可以包含函数或者表达式。

主键索引(Primary Key)

数据表的主键列使用的就是主键索引。
一张数据表有只能有一个主键,并且主键不能为 null,不能重复。
在 MySQL 的 InnoDB 的表中,当没有显示的指定表的主键时,InnoDB 会自动先检查表中是否有唯一索引且不允许存在 null 值的字段,如果有,则选择该字段为默认的主键,否则 InnoDB 将会自动创建一个 6Byte 的自增主键。

MySQL索引详解_第1张图片

二级索引

二级索引(Secondary Index)又称为辅助索引,是因为二级索引的叶子节点存储的数据是主键。也就是说,通过二级索引,可以定位主键的位置。 这种通过辅助索引再去主键索引查找数据的过程叫回表

唯一索引,普通索引,前缀索引等索引属于二级索引。PS: 不懂的同学可以暂存疑,慢慢往下看,后面会有答案的,也可以自行搜索。

唯一索引(Unique Key)

唯一索引也是一种约束。唯一索引的属性列不能出现重复的数据,但是允许数据为 NULL,一张表允许创建多个唯一索引。 建立唯一索引的目的大部分时候都是为了该属性列的数据的唯一性,而不是为了查询效率。

普通索引(Index)

普通索引的唯一作用就是为了快速查询数据,一张表允许创建多个普通索引,并允许数据重复和 NULL。

前缀索引(Prefix)

前缀索引只适用于字符串类型的数据。前缀索引是对文本的前几个字符创建索引,相比普通索引建立的数据更小, 因为只取前几个字符。

全文索引(Full Text)

全文索引主要是为了检索大文本数据中的关键字的信息,是目前搜索引擎数据库使用的一种技术。Mysql5.6 之前只有 MYISAM 引擎支持全文索引,5.6 之后 InnoDB 也支持了全文索引。

二级索引:

MySQL索引详解_第2张图片

聚簇索引与非聚簇索引

聚簇索引(聚集索引)

聚簇索引介绍

*** 聚簇索引(Clustered Index)即索引结构和数据一起存放的索引,并不是一种单独的索引类型。InnoDB 中的主键索引就属于聚簇索引。***

在 MySQL 中,InnoDB 引擎的表的 .ibd文件就包含了该表的索引和数据,对于 InnoDB 引擎表来说,该表的索引(B+树)的每个非叶子节点存储索引,叶子节点存储索引和索引对应的数据。

聚簇索引的优缺点

优点

*** 查询速度非常快 ***:聚簇索引的查询速度非常的快,因为整个 B+树本身就是一颗多叉平衡树,叶子节点也都是有序的,定位到索引的节点,就相当于定位到了数据。相比于非聚簇索引, 聚簇索引少了一次读取数据的 IO 操作。

*** 对排序查找和范围查找优化 ***:聚簇索引对于主键的排序查找和范围查找速度非常快。

缺点

***依赖于有序的数据 ***:因为 B+树是多路平衡树,如果索引的数据不是有序的,那么就需要在插入时排序,如果数据是整型还好,否则类似于字符串或 UUID 这种又长又难比较的数据,插入或查找的速度肯定比较慢。

*** 更新代价大 ***: 如果对索引列的数据被修改时,那么对应的索引也将会被修改,而且聚簇索引的叶子节点还存放着数据,修改代价肯定是较大的,所以对于主键索引来说,主键一般都是不可被修改的。

非聚簇索引(非聚集索引)

非聚簇索引介绍

非聚簇索引(Non-Clustered Index)即索引结构和数据分开存放的索引,并不是一种单独的索引类型。二级索引(辅助索引)就属于非聚簇索引。MySQL 的 MyISAM 引擎,不管主键还是非主键,使用的都是非聚簇索引。

非聚簇索引的叶子节点并不一定存放数据的指针,因为二级索引的叶子节点就存放的是主键,根据主键再回表查数据。

非聚簇索引的优缺点

优点

更新代价比聚簇索引要小 。非聚簇索引的更新代价就没有聚簇索引那么大了,非聚簇索引的叶子节点是不存放数据的

缺点

依赖于有序的数据 :跟聚簇索引一样,非聚簇索引也依赖于有序的

数据可能会二次查询(回表):这应该是非聚簇索引最大的缺点了。 当查到索引对应的指针或主键后,可能还需要根据指针或主键再到数据文件或表中查询。这是 MySQL 的表的文件截图:

MySQL索引详解_第3张图片

非聚簇索引一定回表查询吗(覆盖索引)

非聚簇索引不一定回表查询
试想一种情况,用户准备使用 SQL 查询用户名,而用户名字段正好建立了索引。
SELECT name FROM table WHERE name=‘guang19’;
那么这个索引的 key 本身就是 name,查到对应的 name 直接返回就行了,无需回表查询。

即使是 MYISAM 也是这样,虽然 MYISAM 的主键索引确实需要回表,因为它的主键索引的叶子节点存放的是指针。但是!如果 SQL 查的就是主键呢?
SELECT id FROM table WHERE id=1;
主键索引本身的 key 就是主键,查到返回就行了。这种情况就称之为覆盖索引了。

覆盖索引和联合索引

覆盖索引

如果一个索引包含(或者说覆盖)所有需要查询的字段的值,我们就称之为 覆盖索引(Covering Index) 。我们知道在 InnoDB 存储引擎中,如果不是主键索引,叶子节点存储的是主键+列值。最终还是要“回表”,也就是要通过主键再查找一次。这样就会比较慢覆盖索引就是把要查询出的列和索引是对应的,不做回表操作!

覆盖索引即需要查询的字段正好是索引的字段,那么直接根据该索引,就可以查到数据了,而无需回表查询

如主键索引,如果一条 SQL 需要查询主键,那么正好根据主键索引就可以查到主键。再如普通索引,如果一条 SQL 需要查询 name,name 字段正好有索引, 那么直接根据这个索引就可以查到数据,也无需回表。

MySQL索引详解_第4张图片

联合索引

使用表中的多个字段创建索引,就是 联合索引,也叫 组合索引复合索引
以 score 和 name 两个字段建立联合索引:
ALTER TABLE cus_order ADD INDEX id_score_name(score, name);

最左前缀匹配原则

最左前缀匹配原则指的是,在使用联合索引时,MySQL 会根据联合索引中的字段顺序,从左到右依次到查询条件中去匹配,如果查询条件中存在与联合索引中最左侧字段相匹配的字段,则就会使用该字段过滤一批数据,直至联合索引中全部字段匹配完成,或者在执行过程中遇到范围查询(如 >、<)才会停止匹配。对于 >=、<=、BETWEEN、like 前缀匹配的范围查询,并不会停止匹配。所以,我们在使用联合索引时,可以将区分度高的字段放在最左边,这也可以过滤更多数据。

索引下推

索引条件下推默认是开启的,可以使用系统参数optimizer_switch来控制器是否开启。

索引下推(Index Condition Pushdown) 是 MySQL 5.6 版本中提供的一项索引优化功能,索引下推的下推其实就是指将部分上层(服务层)负责的事情,交给了下层(引擎层)去处理。可以在非聚簇索引遍历过程中,对索引中包含的字段先做判断,过滤掉不符合条件的记录,减少回表次数

我们来具体看一下,在没有使用ICP的情况下,MySQL的查询:

1、存储引擎读取索引记录;
2、根据索引中的主键值,定位并读取完整的行记录;
3、存储引擎把记录交给Server层去检测该记录是否满足WHERE条件。

使用ICP的情况下,查询过程:
1、存储引擎读取索引记录(不是完整的行记录);
2、判断WHERE条件部分能否用索引中的列来做检查,条件不满足,则处理下一行索引记录;
条件满足,使用索引中的主键去定位并读取完整的行记录(就是所谓的回表);
3、存储引擎把记录交给Server层,Server层检测该记录是否满足WHERE条件的其余部分。

索引下推的具体实践

理论比较抽象,我们来上一个实践。

使用一张用户表tuser,表里创建联合索引(name, age)。
MySQL索引详解_第5张图片
如果现在有一个需求:检索出表中名字第一个字是张,而且年龄是10岁的所有用户。那么,SQL语句是这么写的:

select * from tuser where name like ‘张%’ and age=10;

假如你了解索引最左匹配原则,那么就知道这个语句在搜索索引树的时候,只能用 张,找到的第一个满足条件的记录id为1。

MySQL索引详解_第6张图片
那接下来的步骤是什么呢?

没有使用ICP

在MySQL 5.6之前,存储引擎根据通过联合索引找到name like ‘张%’ 的主键id(1、4),逐一进行回表扫描,去聚簇索引找到完整的行记录,server层再对数据根据age=10进行筛选。

我们看一下示意图:
MySQL索引详解_第7张图片
可以看到需要回表两次,把我们联合索引的另一个字段age浪费了。

使用ICP

而MySQL 5.6 以后, 存储引擎根据(name,age)联合索引,找到name like ‘张%’,由于联合索引中包含age列,所以存储引擎直接再联合索引里按照age=10过滤。按照过滤后的数据再一一进行回表扫描。

我们看一下示意图:
MySQL索引详解_第8张图片
可以看到只回表了一次。

除此之外我们还可以看一下执行计划,看到Extra一列里Using index condition,这就是用到了索引下推。

±—±------------±------±-----------±------±--------------±---------±--------±-----±-----±---------±----------------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
±—±------------±------±-----------±------±--------------±---------±--------±-----±-----±---------±----------------------+
| 1 | SIMPLE | tuser | NULL | range | na_index | na_index | 102 | NULL | 2 | 25.00 | Using index condition |
±—±------------±------±-----------±------±--------------±---------±--------±-----±-----±---------±----------------------+

索引下推使用条件

1、只能用于range、 ref、 eq_ref、ref_or_null访问方法;
2、只能用于InnoDB和 MyISAM存储引擎及其分区表;
3、对InnoDB存储引擎来说,索引下推只适用于二级索引(也叫辅助索引);
4、引用了子查询的条件不能下推;
5、引用了存储函数的条件不能下推,因为存储引擎无法调用存储函数。

正确使用索引的一些建议

选择合适的字段创建索引

不为 NULL 的字段 :索引字段的数据应该尽量不为 NULL,因为对于数据为 NULL 的字段,数据库较难优化。如果字段频繁被查询,但又避免不了为 NULL,建议使用 0,1,true,false 这样语义较为清晰的短值或短字符作为替代。

被频繁查询的字段 :我们创建索引的字段应该是查询操作非常频繁的字段。

被作为条件查询的字段 :被作为 WHERE 条件查询的字段,应该被考虑建立索引。

频繁需要排序的字段 :索引已经排序,这样查询可以利用索引的排序,加快排序查询时间。

被经常频繁用于连接的字段 :经常用于连接的字段可能是一些外键列,对于外键列并不一定要建立外键,只是说该列涉及到表与表的关系。对于频繁被连接查询的字段,可以考虑建立索引,提高多表连接查询的效率。

被频繁更新的字段应该慎重建立索引

虽然索引能带来查询上的效率,但是维护索引的成本也是不小的。 如果一个字段不被经常查询,反而被经常修改,那么就更不应该在这种字段上建立索引了。

限制每张表上的索引数量

索引并不是越多越好,建议单张表索引不超过 5 个!
索引可以提高效率同样可以降低效率。索引可以增加查询效率,但同样也会降低插入和更新的效率,甚至有些情况下会降低查询效率。因为 MySQL 优化器在选择如何优化查询时,会根据统一信息,对每一个可以用到的索引来进行评估,以生成出一个最好的执行计划,如果同时有很多个索引都可以用于查询,就会增加 MySQL 优化器生成执行计划的时间,同样会降低查询性能。

尽可能的考虑建立联合索引而不是单列索引

因为索引是需要占用磁盘空间的,可以简单理解为每个索引都对应着一颗 B+树。如果一个表的字段过多,索引过多,那么当这个表的数据达到一个体量后,索引占用的空间也是很多的,且修改索引时,耗费的时间也是较多的。如果是联合索引,多个字段在一个索引上,那么将会节约很大磁盘空间,且修改数据的操作效率也会提升。

注意避免冗余索引

冗余索引指的是索引的功能相同,能够命中索引(a, b)就肯定能命中索引(a) ,那么索引(a)就是冗余索引。如(name,city )和(name )这两个索引就是冗余索引,能够命中前者的查询肯定是能够命中后者的 在大多数情况下,都应该尽量扩展已有的索引而不是创建新索引。

字符串类型的字段使用前缀索引代替普通索引

前缀索引仅限于字符串类型,较普通索引会占用更小的空间,所以可以考虑使用前缀索引带替普通索引。

避免索引失效

索引失效也是慢查询的主要原因之一,常见的导致索引失效的情况有下面这些:
1、使用 SELECT * 进行查询;
2、创建了组合索引,但查询条件未遵守最左匹配原则;
3、在索引列上进行计算、函数、类型转换等操作;
4、以 % 开头的 LIKE 查询比如 like ‘%abc’;
5、查询条件中使用 or,且 or 的前后条件中有一个列没有索引,涉及的索引都不会被使用到;
6、发生隐式转换

删除长期未使用的索引

删除长期未使用的索引,不用的索引的存在会造成不必要的性能损耗。
MySQL 5.7 可以通过查询 sys 库的 schema_unused_indexes 视图来查询哪些索引从未被使用。

知道如何分析语句是否走索引

查询我们可以使用 EXPLAIN 命令来分析 SQL 的 执行计划 ,这样就知道语句是否命中索引了。执行计划是指一条 SQL 语句在经过 MySQL 查询优化器的优化会后,具体的执行方式。EXPLAIN 并不会真的去执行相关的语句,而是通过 查询优化器 对语句进行分析,找出最优的查询方案,并显示对应的信息。

你可能感兴趣的:(mysql,mysql,数据库,mysql索引详解,mysql索引底层数据结构,主键索引)