查询截取分析

三、查询截取分析

1、查询优化

1.永远小表驱动大表，类似嵌套循环Nested Loop

Case

• EXISTS

SELECT … FROM table WHERE EXISTS(subquery)
该语法可以理解为：将主查询的数据，放到子查询中做条件验证，根据验证结果（TRUE或 FALSE）来决定查询的数据结果是否得以保留。

• 提示

1 EXISTS (subquery)只返回TRUE或FALSE， 因此子查询中的SELECT * 也可以是SELECT 1 或 select 'X'， 官方说法是实际执行时会忽略SELECT清单，因此没有区别。

2 EXISTS子查询的实际执行过程可能经过了优化而不是我们理解上的逐条对比，如果担忧效率问题，可进行实际检验以确定是否有效率问题。

3 EXISTS子查询往往也可以用条件表达式、其他子查询或者JOIN来替代，何种最优需要具体问题具体分析。

2.order by关键字优化

1.ORDER BY子句，尽量使用 Index 方式排序，避免使用 FileSort 方式排序

建表SQL

CREATE TABLE tblA(
	#id primary key not nuull auto_increment,
	age INT,
	birth TIMESTAMP NOT NULL
);

INSERT INTO tblA(age,birth) VALUES(22,NOW());
INSERT INTO tblA(age,birth) VALUES(23,NOW());
INSERT INTO tblA(age,birth) VALUES(24,NOW());

CREATE INDEX idx_A_ageBirth ON tblA(age,birth);

select * from tblA;

Case

MySQL支持二种方式的排序，FileSort 和 Index， Index效率高。
它指MySQL扫描索引本身完成排序。FileSort方式效率较低。

ORDER BY满足两情况，会使用 Index 方式排序：

• ORDER BY语句使用索引最左前列。
• 使用 Where子句与Order BY子句条件列组合满足索引最左前列。

尽可能在索引列上完成排序操作，遵照索引建的最佳左前缀。

2.如果不在索引列上，filesort有两种算法：mysq|就要启动双路排序和单路排序

• 双路排序：MySQL4.1之前是使用双路排序，字面意思就是两次扫描磁盘，最终得到数据，读取行指针和orderby列，对他们进行排序，然后扫描已经排序好的列表，按照列表中的值重新从列表中读取对应的数据输出。
  从磁盘取排序字段，在buffer进行排序，再从磁盘取其他字段。

取一批数据，要对磁盘进行了两次扫描，众所周知，I\O是很耗时的，所以在mysql4.1之后，出现了第二种改进的算法，就是单路排序。

• 单路排序：从磁盘读取查询需要的所有列，按照 order by 列在 buffer 对它们进行排序，然后扫描排序后的列表进行输出，它的效率更快一些，避免了第二次读取数据。并且把随机 IO 变成了顺序 IO，但是它会使用更多的空间，因为它把每一行都保存在内存中了。

结论及引申出的问题：

• 由于单路是后出的，总体而言好过双路
• 但是用单路有问题
  在sort_buffer中， 方法B比方法A要多占用很多空间，因为方法B是把所有字段都取出，所以有可能取出的数据的总大小超出了sort_buffer的容量， 导致每次只能取sort_buffer容量大小的数据，进行排序(创建tmp文件，多路合并)，排完再取取sort_buffer容量大小，再排…从而多次I/O。
  本来想省一次I/O操作， 反而导致了大量的I/O操作，反而得不偿失。

3.优化策略

• 增大 sort_buffer_size 参数的设置
• 增大 max_length_for_sort_data 参数的设置
• Why

提高Order By的速度

1.Order by 时 select * 是一个大忌只 Query 需要的字段，这点非常重要。 在这里的影响是：

1.1 当Query的字段大小总和小于 max_length_for_sort_data 而且排序字段不是 TEXT | BLOB 类型时，会用改进后的算法 ----- 单路排序，否则用老算法 ---- 多路排序。
1.2 两种算法的数据都有可能超出sort_buffer的容量， 超出之后，会创建tmp文件进行合并排序，导致多次I/O， 但是用单路排序算法的风险会更大一些，所以要提高sort_buffer_size。

2.尝试提高sort_buffer_size
不管用哪种算法，提高这个参数都会提高效率，当然，要根据系统的能力去提高，因为这个参数是针对每个进程的。

3.尝试提高max_length_for_ sort_data
提高这个参数，会增加用 改进算法的概率。但是如果设的太高，数据总容量超出sort_buffer_size的概率就增大，明显症状是高的磁盘I/O活动和低的处理器使用率。

4.小总结

3.group by关键字优化

• group by实质是先排序后进行分组，遵照索引建的最佳左前缀。
• 当无法使用索引列，增大max_length_for_sort_data 参数的设置 + 增大sort_buffer_size参数的设置。
• where高于having，能写在where限定的条件就不要去having限定了。

2、慢查询日志

1.是什么

• MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。
• 具体指运行时间超过 long_query_time 值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10秒以上的语句。
• 由他来查看哪些SQL超出了我们的最大忍耐时间值，比如一-条sq|执行超过5秒钟，我们就算慢SQL，希望能收集超过5秒的sql，结合之前explain进行全面分析。

2.怎么玩

1. 说明

默认情况下，MySQL数据库没有开启慢查询日志，需要我们手动来设置这个参数。
当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件

2. 查询是否开启及如何开启

默认情况下 slow_query_log 的值为OFF，表示慢查询日志是禁用的，可以通过设置 slow_query_log 的值来开启。
默认：SHOW VARIABLES LIKE ‘%slow_query_log%’;

开启：set global slow_query_log=1;
开启慢查询日志只对当前数据库生效，如MySQL重启后则会失效。

如果要永久生效，就必须修改配置文件my.cnf （其他系统变量也是如此）

修改my.cnf 文件，[mysqld]下增加或修改参数
slow_query_log 和 slow_query_log_file 后，然后重启MySQL服务器。也即将如下两行配置进my.cnf 文件

slow_query_log=1
slow_query_log_file=/var/lib/mysql/atguigu-slow.log

关于慢查询的参数slow_query_log_file， 它指定慢查询日志文件的存放路径，系统默认会给一个缺省的文件host_name-slow.log（如果没有指定参数slow_query_log_file的话）

3. 那么开启了慢查询日志后，什么样的SQL才会记录到慢查询日志里面呢？

这个是由参数long_query_time 控制，默认情况下long_query_tome的值为10秒，
命令：SHOW VARIABLES LIKE ‘%long_query_time%’;

可以使用命令修改，也可以在my.cnf 参数里面修改。

加入运行时间正好等于long_query_time的情况，并不会被记录下来。也就是说，在mysql源码里是判断大于long_query_time，而非大于等于。

4. Case

查看当前多少秒算慢：SHOW VARIABLES LIKE ‘%long_query_time%’;

设置慢的阙值时间：使用 set global slow_query_log=3; 修改为阙值到3秒钟的就是慢sql

为什么设置后看不出变化？

• 需要重新连接或断开一个会话才能看到修改值。
  SHOW VARIABLES LIKE ‘long_query_time%’;
• show global variables like ‘long_query_time’;

记录慢SQL并后续分析

查询当前系统中有多少条慢查询记录

show global status like ‘%Slow_queries%’；

5. 配置版

【mysqld】下配置：

slow_query_log=1
slow_query_log_file=/var/lib/mysql/atguigu-slow.log
long_query_time=3;
log_output=FILE

3.日志分析工具mysqldumpslow

在生产环境中，如果要手工分析日志，查找、分析SQL，显然是个体力活，MySQL提供了日志分析工具mysqldumpslow。

查看mysqldumpslow的帮助信息：

命令：mysqldumpslow --help

• s：是表示按照何种方式排序;
• c：访问次数
• |：锁定时间
• r：返回记录
• t：查询时间
• al：平均锁定时间
• ar：平均返回记录数
• at：平均查询时间
• t：即为返回前面多少条的数据；
• g：后边搭配一个正则匹配模式，大小写不敏感的；

工作常用参数：

得到返回记录集最多的10个SQL
mysqldumpslow -s r -t 10 /var/ib/mysql/atguigu-slow.log

得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 Nvar/lib/mysql/atguigu-slow.log

得到按照时间排序的前10条里面含有左连接的查询语句
mysqldumpslow -s t -t 10 -g “left join” /var/lib/mysql/atguigu-slow.log

另外建议在使用这些命令时结合 | 和 more 使用，否则有可能出现爆屏情况
mysqldumpslow -s r -t 10 /var/ib/mysql/atguigu-slow.log | more

3、批量数据脚本

往表里插入1000W数据

1）建表

# 新建表
create database bigData;
use bigData;

#1 建表dept
CREATE TABLE dept(
	id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
	deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,
	dname VARCHAR(20) NOT NULL DEFAULT "",
	loc VARCHAR(13) NOT NULL DEFAULT ""
)ENGINE=INNODB DEFAULT CHARSET=GBK;

#2 建表emp
CREATE TABLE emp(
	id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
	empno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,
	ename VARCHAR(20) NOT NULL DEFAULT "",
	job VARCHAR(9) NOT NULL DEFAULT "",
	mgr MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,
	hiredate DATE NOT NULL,
	sal DECIMAL(7,2) NOT NULL,
	comm DECIMAL(7,2) NOT NULL,
	deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0
)ENGINE=INNODB DEFAULT CHARSET=GBK;

2）设置参数log_bin_trust_function_creators

3）创建函数，保证每条数据都不同

• 随机产生字符串

DELIMITER $$
CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255)
BEGIN
DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';
DECLARE return_str VARCHAR(100) DEFAULT '';
DECLARE i INT DEFAULT 0;
WHILE i<n DO
SET return_str=CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
SET i=i+1;
END WHILE;
RETURN return_str;
END $$

#假如要删除
#drop funtion rand_string();

• 随机产生部门编号

DELIMITER $$
CREATE FUNCTION rand_num()
RETURNS INT(5)
BEGIN
DECLARE i INT DEFAULT 0;
SET i=FLOOR(100+RAND()*10);
RETURN i;
END $$

#假如要删除
#drop funtion rand_num();

4）创建存储过程

• 创建往emp表中插入数据的存储过程

DELIMITER $$
CREATE FUNCTION insert_emp(IN START INT(10),IN max_num INT(10))
BEGIN
DECLARE i INT DEFAULT 0;
#set autocommit=0 把 autocommit设置成0
SET autocommit=0;
REPEAT
SET i =i+1;
INSERT INTO emp(empno,ename,job,mgr,hirdate,sal,comm,deptno) VALUES((START+i),
rand_string(6),'SALESMAN',0001,CURDATE(),2000,400,rand_num());
UNTIL i = max_num
END REPEAT;
COMMIT;
END $$

• 创建往dept表中插入数据的存储过程

DELIMITER $$
CREATE FUNCTION insert_dept(IN START INT(10),IN max_num INT(10))
BEGIN
DECLARE i INT DEFAULT 0;
SET autocommit=0;
REPEAT
SET i =i+1;
INSERT INTO dept(deptno,dname,loc) VALUES((START+i),rand_string(10),rand_string(8));
UNTIL i = max_num
END REPEAT;
COMMIT;
END $$

5）调用存储过程

• dept

DELIMITER;
CALL insert_dept(100,10);

• emp

DELIMITER;
CALL insert_emp(100001,500000);

4、Show Profile

1.是什么

是mysq|提供可以用来分析当前会话中语句执行的资源消耗情况。可以用于SQL的调优的测量。

2.官网

http://dev.mysql.com/doc/refman/5.5/en/show-profile.html

默认情况下，参数处于关闭状态，并保存最近15次的运行结果。

3.分析步骤

1.是否支持，看看当前的mysq|版本是否支持

命令：Show variables like ‘profiling’；
默认是关闭，使用前需要开启 。

或者：Show variables like ‘profiling%’；

2.开启功能，默认是关闭，使用前需要开启

命令：set profiling=on;

3.运行SQL

• select * from emp group by id%10 limit 150000;
• select * from emp group by id%20 order by 5;

4.查看结果，show profiles;

5.诊断SQL， show profile cpu,block io for query上一步前面的问题SQL数字号码

参数备注：

6.日常开发需要注意的结论

• converting HEAP to MyISAM 查询结果太大，内存都不够用了往磁盘上搬了。
• Creating tmp table 创建临时表
  • 拷贝数据到临时表
  • 用完再删除
• Copying to tmp table on disk 把内存中临时表复制到磁盘，危险。。。
• locked

5、全局查询日志

1.配置启用

在mysql的 my.cnf 中，设置如下：
#开启
general_log=1
#记录日志文件的路径
general_log_file=/path/logfile
#输出格式
log_output=FILE

2.编码启用

• set global general_log=1;
• set global log_output=‘TABLE’;

此后，你所编写的sql语句，将会记录到mysql库里的general_log表，可以用下面的命令查看。

• select * from mysql.general_log;

永远不要再生产环境开启这个功能。

---

如果有收获！！！ 希望老铁们来个三连，点赞、收藏、转发。
创作不易，别忘点个赞，可以让更多的人看到这篇文章，顺便鼓励我写出更好的博客