MySQL索引优化（一）

一、索引介绍

1. 什么是MySQL的索引

MySQL官方对于索引的定义：索引是帮助MySQL高效获取数据的数据结构。

MySQL在存储数据之外，数据库系统中还维护着满足特定查找算法的数据结构，这些数据结构以某种引用(指向)表中的数据，这样我们就可以通过数据结构上实现的高级查找算法来快速找到我们想要的数据。而这种数据结构就是索引。
简单理解为“排好序的可以快速查找数据的数据结构”。

2. 索引数据结构

下图就是一种可能的二叉树的索引方式：

二叉树数据结构的弊端：当极端情况下，数据递增插入时，会一直向右插入，形成链表，查询效率会降低。

MySQL中常用的的索引数据结构有BTree索引(Myisam普通索引)，B+Tree索引（Innodb普通索引），Hash索引(memory存储引擎)等等。

3. 索引优势

提高数据检索的效率，降低数据库的IO成本。
通过索引对数据进行排序，降低数据排序的成本，降低了CPU的消耗。

4. 索引劣势

索引实际上也是一张表，保存了主键和索引的字段，并且指向实体表的记录，所以索引也是需要占用空间的。
在索引大大提高查询速度的同时，却会降低表的更新速度，在对表进行数据增删改的同时，MySQL不仅要更新数据，还需要保存一下索引文件。

5. 索引使用场景

（1）需要建立索引的场景

1.主键自动建立唯一索引
2.频繁作为查询条件的字段应该创建索引(where 后面的语句)
3.查询中与其它表关联的字段，外键关系建立索引
4.多字段查询下倾向创建组合索引
5.查询中排序的字段，排序字段若通过索引去访问将大大提高排序速度
6.查询中统计或者分组字段

（2）不推荐建立索引的场景

1.表记录太少
2.经常增删改的表
3.Where条件里用不到的字段不建立索引

6. 索引分类

（1）主键索引

1.表中的列设定为主键后，数据库会自动建立主键索引。
2.单独创建和删除主键索引语法：
创建主键索引语法： alter table 表名 add primary key (字段);
删除主键索引语法： alter table 表名 drop primary key;

（2）唯一索引

1.表中的列创建了唯一约束时，数据库会自动建立唯一索引。
2.单独创建和删除唯一索引语法：
创建唯一索引语法：alter table 表名 add unique 索引名(字段); 或 create unique index 索引名 on 表名(字段);
删除唯一索引语法：drop index 索引名 on 表名;

（3）单值索引

即一个索引只包含单个列，一个表可以有多个单值索引。
1.建表时可随表一起建立单值索引
2.单独创建和删除单值索引：
创建单值索引： alter table 表名 add index 索引名(字段); 或 create index 索引名 on 表名(字段);
删除单值索引：drop index 索引名 on 表名;

（4）复合索引

即一个索引包含多个列
1.建表时可随表一起建立复合索引
2.单独创建和删除复合索引：
创建复合索引：create index 索引名 on 表名(字段1,字段2); 或 alter table 表名 add index 索引名(字段,字段2);
删除复合索引：drop index 索引名 on 表名;

7. 创建索引实操

上面介绍的是创建完表后，单独创建索引的语法。
下面是创建表的同时建立索引。

#随表建立索引
create table customer(
	id int(10) auto_increment,
	customer_no varchar(20),
	customer_name varchar(20),
	primary key(id) ,
	unique idx_customer_no(customer_no),
	key idx_customer_name(customer_name),
	key idex_customer_no_name(customer_no,customer_name)
);

8. 索引测试

1.通过存储过程往数据库中插入300W条数据。
2.分别测试使用索引和没有使用索引的情况下，where查询的一个效率对比。

• 创建表

-- 建表
DROP TABLE IF EXISTS person;
CREATE TABLE person  (
  PID int(11) AUTO_INCREMENT COMMENT '编号',
  PNAME varchar(50) COMMENT '姓名',
  PSEX varchar(10) COMMENT '性别',
	PAGE	int(11) COMMENT '年龄',
  SAL decimal(7, 2) COMMENT '工资',
  PRIMARY KEY (PID)
);
-- 创建存储过程
create procedure insert_person(in max_num int(10))
begin
	declare i int default 0;
	set autocommit = 0; 
	repeat
	set i = i +1;
	insert into person (PID,PNAME,PSEX,PAGE,SAL) values (i,concat('test',floor(rand()*10000000)),IF(RAND()>0.5,'男','女'),FLOOR((RAND()*100)+10),FLOOR((RAND()*19000)+1000));
	until i = max_num
	end repeat;
	commit;
end;

-- 调用存储过程
call insert_person(3000000);

-- 不使用索引，根据pName进行查询
select * from person where PNAME = "test1209325"; #查询时间1.167S

-- 给PNAME建立索引
alter table person add index idx_pname(PNAME);
select * from person where PNAME = "test1209325"; #查询时间0.024S

二、性能分析（基于mysql 5.7演示）

1. MySQL常见瓶颈

SQL中对大量数据进行比较、关联、排序、分组时CPU的瓶颈。
实例内存满足不了缓存数据或排序等需要，导致产生大量的物理IO。查询数据时扫描过多数据行，导致查询效率低。

2. Explain

使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MYSQL是如何处理SQL语句的。
可以用来分析查询语句或者表结构的性能瓶颈。
其作用：
（1）表的读取顺序
（2）哪些索引可以使用
（3）数据读取操作的操作类型
（4）哪些索引被实际使用
（5）表之间的引用
（6）每张表有多少行被优化器查询

XPLAIN关键字使用起来比较简单： explain + SQL语句。

• 创建表

--  创建四张测试表
CREATE TABLE t1(
	id INT(10) AUTO_INCREMENT,
	content  VARCHAR(100),  
	PRIMARY KEY (id)
);
CREATE TABLE t2(
	id INT(10) AUTO_INCREMENT,
	content  VARCHAR(100),
	PRIMARY KEY (id)
);
CREATE TABLE t3(
	id INT(10) AUTO_INCREMENT,
	content  VARCHAR(100),
	PRIMARY KEY (id)
	);
CREATE TABLE t4(
	id INT(10) AUTO_INCREMENT,
	content  VARCHAR(100),
	PRIMARY KEY (id)
);

-- 每张表中添加一条数据
INSERT INTO t1(content) VALUES(CONCAT('t1_',FLOOR(1+RAND()*1000)));

INSERT INTO t2(content) VALUES(CONCAT('t2_',FLOOR(1+RAND()*1000)));

INSERT INTO t3(content) VALUES(CONCAT('t3_',FLOOR(1+RAND()*1000)));
	
INSERT INTO t4(content) VALUES(CONCAT('t4_',FLOOR(1+RAND()*1000)));

3. Explain之id

select查询的序列号，表示查询中执行select子句或操作表的顺序。
id 列的编号是 select 的序列号，一般有几个 select 就有几个 id（联表查询会有重复的 id），并且 id 的顺序是按 select 出现的顺序增长的。
id相同时（一般出现在联表查询），执行顺序由上至下。
id不同，如果是子查询，id的序号会递增，id值越大优先级越高，则先被执行。
id相同和不同都存在时，id相同的可以理解为一组，从上往下顺序执行，所有组中，id值越大，优先级越高越先执行。
id 为 NULL 最后执行。

（1）id相同

#id相同时，执行顺序是从上往下。
explain select * from t1,t2,t3 where t1.id=t2.id and t2.id = t3.id;

（2）id不同

#id不同时，如果是子查询，id的序号会递增，id值越大优先级越高，则先被执行。
explain select t1.id from t1 where 
t1.id in ((select t2.id from t2), (select t3.id from t3));

（3）id相同和id不同都存在

#id相同和不同都存在时，id相同的可以理解为一组，从上往下顺序执行，所有组中，id值越大，优先级越高越先执行。
explain select t2.* from t2, (select * from t3) s3 where s3.id = t2.id;

4. Explain之select_type

查询的类型，常见值有：
SIMPLE ：简单的 select 查询，查询中不包含子查询或者UNION。
PRIMARY：查询中若包含任何复杂的子查询，最外层查询则被标记为Primary。
DERIVED：在FROM列表中包含的子查询被标记为DERIVED(衍生)，MySQL会递归执行这些子查询，把结果放在临时表里。
SUBQUERY： 在SELECT或WHERE列表中包含了子查询。
UNION：在 UNION中的第二个或之后的 select。

（1）simple

#simple 简单的select查询
explain select * from t1;

（2）primary

#primary
explain select * from (select 1) s1;

（3）derived

【注】在 MySQL 5.7 中，会对衍生表进行合并优化，如果要直观的查看 select_type 的值，需要临时关闭该功能（默认是打开的），下面的介绍中凡是涉及到衍生表的都需要该操作。

# 关闭衍生表的合并优化（只对该会话有效）
set session optimizer_switch='derived_merge=off'; 
# 打开衍生表的合并优化（只对该会话有效）
set session optimizer_switch='derived_merge=on';

#derived  
explain select * from (select t1.content from t1) s1;

“< derived2>”，这个“derived”表示衍生的意思，而其中的“2”表示id=2的这一行。

（4）subquery

#subquery
explain select t2.* from t2 where t2.id = (select t3.id from t3);

（5）union

EXPLAIN SELECT * FROM t1 UNION SELECT * FROM t2;

5. Explain之table

显示这一行的数据是关于哪张表的。

6. Explain之type

访问类型排序：

从最好到最差依次是:system>const>eq_ref>ref>range>index>All 。一般来说，最好保证查询能达到range级别，最好能达到ref。

（1）System

System：表只有一行记录（等于系统表），这是const类型的特列，平时不会出现，这个也可以忽略不计。

#system
explain select * from (select t1.id from t1 where id = 1) t;

（2）Const

表示通过索引一次就找到了，const用于比较primary key或者unique索引。因为只匹配一行数据，所以很快，如将主键置于where列表中，MySQL就能将该查询转换为一个常量。

#const 索引一次就找到了
explain select * from t1 where id = 1;

（3）eq_ref

eq_ref：唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于主键或唯一索引扫描。

#eq_ref
explain select t1.*,t2.* 
from t1
join t2
on t1.id = t2.id;

（4）Ref

Ref：非唯一性索引扫描，返回匹配某个单独值的所有行。本质上也是一种索引访问，它返回所有匹配某个单独值的行，然而，它可能会找到多个符合条件的行，所以他应该属于查找和扫描的混合体。

#ref非唯一索引扫描
alter table t1 add index idx_t1_content(content);
explain select * from t1 where t1.content = "abc";

（5）Range

Range：只检索给定范围的行，使用一个索引来选择行。key 列显示使用了哪个索引
一般就是where语句中出现了between、<、>、in等的查询，这种范围扫描比全表扫描要好，因为它只需要开始于索引的某一点，而结束于另一点，不用扫描全部索引。

#range
explain select * from t2 where t2.id > 0;

（6）Index

Index：Full Index Scan，index与ALL区别为index类型只遍历索引树。这通常比ALL快，因为索引文件通常比数据文件小。也就是说虽然all和Index都是读全表，但index是从索引中读取的，而all是从硬盘中读的。

#index
explain select id,content from t1;

（7）All

All：Full Table Scan，将遍历全表以找到匹配的行。

#All
explain select * from t1 where t1.content = "abc";

7. Explain之possible_keys

显示可能应用在这张表中的索引，一个或多个。查询涉及到的字段上如果存在索引，则该索引将会被列出来，但不一定会被查询实际使用上。

explain select * from t2 where t2.id is not null;

• 索引失效，但possible_keys依然有值
  

8. Explain之key

查询中实际使用的索引，如果为NULL，则没有使用索引。

explain select * from t2 where t2.id = 1;

9. Explain之ref

显示索引的哪一列被使用了。哪些列或常量被用于查找索引列上的值。

explain select t2.*,t3.* from t2,t3 where t2.id = t3.id;

• t3表，引用了t2表的id列，作为索引列进行查找
• 

10. Explain之rows

rows列显示MySQL认为它执行查询时必须检查的行数。一般越少越好。

#删除person上的索引
drop index idx_pname on person;
explain select person.* from person where pname = "test3263609";

#添加索引
alter table person add index idx_pname(PNAME);
explain select person.* from person where pname = "test3263609";

11. Explain之extra

一些常见的重要的额外信息：
Using filesort：MySQL无法利用索引完成的排序操作称为“文件排序”，效率低。
Using temporary：Mysql在对查询结果排序时使用临时表，常见于排序order by和分组查询group by。
Using index：表示索引被用来执行索引键值的查找，避免访问了表的数据行，效率不错。
Using where：表示使用了where过滤。

• 创建表

drop table if exists emps;
CREATE TABLE emps (
  id INT PRIMARY KEY AUTO_INCREMENT COMMENT "主键id",
  name VARCHAR (24) COMMENT '姓名',
  age INT COMMENT '年龄',
  job VARCHAR (20) COMMENT '职位'
);
 
INSERT INTO emps(name,age,job) VALUES('zhangsan',22,'manager');
INSERT INTO emps(name,age,job) VALUES('lisi',23,'clerk');
INSERT INTO emps(name,age,job) VALUES('wangwu',24,'salsman');
INSERT INTO emps(name,age,job) VALUES('赵六',23,'salsman');

（1）using filesort

-- using filesort 排序时没有使用索引
explain select * from emps order by age;

（2）using temporary

-- using temporary 分组时没有使用索引,分组时会进行排序，所以一般Using temporary; Using filesort会同时出现
explain select count(*),job from emps group by job;

（3）Using index

-- using index 
explain select id from emps;

（4）Using where

-- using where
explain select * from emps where name = "张三";