MySQL关于order by和group by的优化
order by关键字优化
尽量使用index方式排序，避免使用filesort方式排序
create table tblA(
#id int primary key not null auto_increment,
age int,
birth TIMESTAMP not null
);
insert into tblA(age,birth) values(22,now());
insert into tblA(age,birth) values(22,now());
insert into tblA(age,birth) values(22,now());
-- 在age和birth上建立索引
create index idx_A_ageBirth on tblA(age,birth);
select * from tblA;-- type为index类型的
EXPLAIN SELECT * FROM tblA WHERE age>10 ORDER BY age;
EXPLAIN SELECT * FROM tblA WHERE age>10 ORDER BY age,birth;
-- 这个产生了filesort了，因为带头大哥age不在了
EXPLAIN SELECT * FROM tblA WHERE age>10 ORDER BY birth;
EXPLAIN SELECT * FROM tblA WHERE age>10 ORDER BY birth,age;
EXPLAIN SELECT * FROM tblA ORDER BY birth;
EXPLAIN SELECT * FROM tblA WHERE birth>'2018-02-23 00:00:00' ORDER BY birth;
-- 这个没有filesort，age就是大哥
EXPLAIN SELECT * FROM tblA WHERE birth>'2018-02-23 00:00:00' ORDER BY age;
-- 这个有filesort，索引建立默认是升序
EXPLAIN SELECT * FROM tblA ORDER BY age ASC,birth DESC;mysql支持两种方式的排序，filesort和index，index效率高，它指mysql扫描索引本身完成排序。filesort方式效率低
order by满足两种情况，会使用index方式排序
- order by语句使用索引最左前列
- 使用where子句与order by子句条件列组合满足索引最左前列
尽可能在索引列上完成排序操作，遵照索引建的最佳左前缀
如果不在索引列上，filesort有两种算法：mysql就要启动双路排序和单路排序
- 双路排序：mysql4.1之前是使用双路排序，字面意思就是两次扫描磁盘，最终得到数据。读取行指针和orderby列，对他们进行排序，然后扫描已经排好序的列表，按照列表中的值重新从列表中读取对应的数据输出。从磁盘取排序字段，在buffer进行排序，再从磁盘取其他字段。
- 取一批数据，要对磁盘进行两次扫描，众所周知，I/O是很耗时的，所以在mysql4.1之后，出现了第二种改进的算法，就是单路排序。
- 单路排序：从磁盘读取查询需要的所有列，安装order by列在buffer对它们进行排序，然后扫描排序后的列表进行输出，它的效率更快一些，避免了第二次读取数据，并且把随机IO变成了顺序IO，但是它会使用更多的空间，因为它把每一行都保存在内存中了。
- 结论及引申出的问题：由于单路是后出的，总体而言好过双路。但是单路有问题
- 在sort_buffer中，方法B比方法A要多占用很多空间，因为方法B是把所有字段都取出来，所以有可能取出的数据的总大小超出了sort_buffer的总量，导致每次只能取sort_buffer容量大小的数据，进行排序（创建tmp文件，多路合并），排序再去取sort_buffer容量大小，再排。。。从而多次I/O
- 本来想省一次I/O操作，反而导致了大量的I/O操作，反而得不偿失
优化策略
- 增大sort_buffer_size参数的设置
- 增大max_length_for_sort_data参数的设置
- Why，
提高order by的速度
- order by时select *是一个大忌，只query需要的字段，这点非常重要，在这里影响的是
- 当query的字段大小总和小于max_length_for_sort_data而且排序字段不是text或blob类型时，会用改进后的算法–单路排序，否则用老算法–多路排序
- 两种算法的数据都有可能超出sort_buffer的容量，超出之后，会创建tmp文件进行合并排序，导致多次I/O，但是用单路排序算法的风险会更大一些，所以要提高sort_buffer_size
- 尝试提高sort_buffer_size
- 不管用那种算法，提供这个参数都会提高效率，当然，要根据系统的能力去提高，因为这个参数是针对每个进程的
- 尝试提高max_length_for_sort_data
- 提高这个参数，会增加用改进算法的概率，但是如果设的太高，数据总容量超出sort_buffer_size的概率就增大了，明显症状是高的磁盘I/O活动和低的处理器使用率
总结
mysql两种排序方式：文件排序或扫描有序索引排序
mysql能为排序与查询使用相同的索引
key a_b_c(a,b,c)
order by能使用索引最左前缀
order by a
order by a,b
order by a,b,c
order by a desc,b desc,c desc #这个同时都为降序所以也可以
如果where使用索引的最左前缀定义为常量，则order by能使用索引
where a=const order by b,c
where a=const and b=const order by c
where a=const order by b,c
where a=const and b>const order by b,c
不能使用索引进行排序
order by a asc,b desc,c desc #排序不一致，有升序有降序
where g=const order by b,c #丢失a索引，没有带头大哥
where a=const order by c #丢失b索引
where a in(...) order by b,c #对于排序来说，多个相等条件也是范围查询group by关键字优化
- group by实质是先排序后进行分组，遵照索引建的最佳左前缀
- 当无法使用索引列，增大max_length_for_sort_data参数的设置+增大sort_buffer_size参数的设置
- where高于having,能写在where限定的条件就不要去having限定了