MySQL慢查询- 慢查询与pt_query_digest使用

 

1.开启mysql慢查询日志

参考 https://www.cnblogs.com/luyucheng/p/6265594.html

一、mysql慢查询日志简介

开启慢查询日志，可以让MySQL记录下查询超过指定时间的语句，通过定位分析性能的瓶颈，才能更好的优化数据库系统的性能。

二、参数说明

slow_query_log 慢查询开启状态
slow_query_log_file 慢查询日志存放的位置（这个目录需要MySQL的运行帐号的可写权限，一般设置为MySQL的数据存放目录）
long_query_time 查询超过多少秒才记录

三、设置步骤

1.查看慢查询相关参数

mysql> show variables like 'slow_query%';
+---------------------------+----------------------------------+
| Variable_name             | Value                            |
+---------------------------+----------------------------------+
| slow_query_log            | OFF                              |
| slow_query_log_file       | /mysql/data/localhost-slow.log   |
+---------------------------+----------------------------------+

mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+

2.设置方法
方法一：全局变量设置
将 slow_query_log 全局变量设置为“ON”状态

mysql> set global slow_query_log='ON'; 

设置慢查询日志存放的位置

mysql> set global slow_query_log_file='/usr/local/mysql/data/slow.log';

查询超过1秒就记录

mysql> set global long_query_time=1;

方法二：配置文件设置
修改配置文件my.cnf，在[mysqld]下的下方加入

[mysqld]
slow_query_log = ON
slow_query_log_file = /usr/local/mysql/data/slow.log
long_query_time = 1

3.重启MySQL服务

service mysqld restart

4.查看设置后的参数

mysql> show variables like 'slow_query%';
+---------------------+--------------------------------+
| Variable_name       | Value                          |
+---------------------+--------------------------------+
| slow_query_log      | ON                             |
| slow_query_log_file | /usr/local/mysql/data/slow.log |
+---------------------+--------------------------------+

mysql> show variables like 'long_query_time';
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 1.000000 |
+-----------------+----------+

四、测试

1.执行一条慢查询SQL语句

mysql> select sleep(2);

2.查看是否生成慢查询日志

ls /usr/local/mysql/data/slow.log

如果日志存在，MySQL开启慢查询设置成功！

---

2.pt_query_digest安装与使用

一.pt_query_digest简介与安装

1.简介 
pt-query-digest（官网地址https://www.percona.com/doc/percona-toolkit/3.0/index.html）是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查询进行分组统计，统计出各查询的执行时间、次数、占比等，可以借助分析结果找出问题进行优化。

2.安装
pt-query-digest是一个perl脚本，只需下载并赋权即可执行。
[root@test1 ]# wget percona.com/get/pt-query-digest 
[root@test1 ]# chmod u+x pt-query-digest

二.语法与重要选项

pt-query-digest [OPTIONS] [FILES] [DSN]

--create-review-table  当使用--review参数把分析结果输出到表中时，如果没有表就自动创建。
--create-history-table  当使用--history参数把分析结果输出到表中时，如果没有表就自动创建。
--filter  对输入的慢查询按指定的字符串进行匹配过滤后再进行分析
--limit限制输出结果百分比或数量，默认值是20,即将最慢的20条语句输出，如果是50%则按总响应时间占比从大
 到小排序，输出到总和达到50%位置截止。
--host  mysql服务器地址
--user  mysql用户名
--password  mysql用户密码
--history 将分析结果保存到表中，分析结果比较详细，下次再使用--history时，如果存在相同的语句，且查 
 询所在的时间区间和历史表中的不同，则会记录到数据表中，可以通过查询同一CHECKSUM来比较某类型查询的历
 史变化。
--review 将分析结果保存到表中，这个分析只是对查询条件进行参数化，一个类型的查询一条记录，比较简单。
 当下次使用--review时，如果存在相同的语句分析，就不会记录到数据表中。
--output 分析结果输出类型，值可以是report(标准分析报告)、slowlog(Mysql slow log)、json、
 json-anon，一般使用report，以便于阅读。
--since 从什么时间开始分析，值为字符串，可以是指定的某个”yyyy-mm-dd [hh:mm:ss]”格式的时间点，也可
 以是简单的一个时间值：s(秒)、h(小时)、m(分钟)、d(天)，如12h就表示从12小时前开始统计。
--until 截止时间，配合—since可以分析一段时间内的慢查询。

三.用法示例

 1.直接分析慢查询文件:

#分析slow.log日志，并将分析报告输入到slow_report.log中
shell> pt-query-digest  slow.log > slow_report.log

2.分析最近12小时内的查询：

shell> pt-query-digest  --since=12h  slow.log > slow_report2.log

3.分析指定时间范围内的查询：

pt-query-digest slow.log --since '2014-04-17 09:30:00' --until '2014-04-17 10:00:00' > slow_report3.log

4.分析指含有select语句的慢查询

shell> pt-query-digest--filter '$event->{fingerprint} =~ m/^select/i' slow.log> slow_report4.log

5.针对某个用户的慢查询

shell> pt-query-digest--filter '($event->{user} || "") =~ m/^root/i' slow.log> slow_report5.log

6 查询所有所有的全表扫描或full join的慢查询

  pt-query-digest--filter '(($event->{Full_scan} || "") eq "yes") ||(($event->{Full_join} || "") eq "yes")' slow.log> slow_report6.log

7把查询保存到query_review表

pt-query-digest  --user=root –password=abc123 --review  h=localhost,D=test,t=query_review--create-review-table  slow.log

8.把查询保存到query_history表

pt-query-digest  --user=root –password=abc123 --review  h=localhost,D=test,t=query_ history--create-review-table  slow.log_20140401
pt-query-digest  --user=root –password=abc123--review  h=localhost,D=test,t=query_history--create-review-table  slow.log_20140402

9.通过tcpdump抓取mysql的tcp协议数据，然后再分析

 tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txt
pt-query-digest --type tcpdump mysql.tcp.txt> slow_report9.log

10.分析binlog

 mysqlbinlog mysql-bin.000093 > mysql-bin000093.sql
pt-query-digest  --type=binlog  mysql-bin000093.sql > slow_report10.log

11.分析general log

  pt-query-digest  --type=genlog  localhost.log > slow_report11.log

四.报告参数说明

参考https://www.imooc.com/article/20180

#分析我的 慢查询日志mysql_slow_query.log，由于文件比较的先分析近12个小时
root@iZ23iuzu9fvZ:[/usr/local/data/npmlog/mysql]/usr/local/data/pt_query_digest/pt-query-digest --since=12h  mysql_slow_query.log >  slow_report.log
mysql_slow_query.log:  46% 00:34 remain
mysql_slow_query.log:  92% 00:04 remain
You have new mail in /var/spool/mail/root

#分析结束 报告文件已经生成
root@iZ23iuzu9fvZ:[/usr/local/data/npmlog/mysql]ls
mysql_slow_query.log  slow_report2.log  slow_report.log

#打开报告文件
root@iZ23iuzu9fvZ:[/usr/local/data/npmlog/mysql]vim slow_report.log 

...省略...

# Query 2: 0.00 QPS, 0.00x concurrency, ID 0xFC5A5F442EC60F7D528A32C09232A559 at byte 1838893532
# This item is included in the report because it matches --limit.
# Scores: V/M = 0.00
# Time range: 2018-09-04 14:58:02 to 15:13:04
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count         33       2
# Exec time     23      2s      1s      1s      1s      1s    11ms      1s
# Lock time     13    65us    29us    36us    32us    36us     4us    32us
# Rows sent      0       0       0       0       0       0       0       0
# Rows examine  99  87.53k  43.77k  43.77k  43.77k  43.77k       0  43.77k
# Query size    64     266     133     133     133     133       0     133
# String:
# Databases    xxxxx
# Hosts        xxxxxxx
# Users       xxxxx
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms
# 100ms
#    1s  ################################################################
#  10s+
# Tables
#    SHOW TABLE STATUS FROM `8518shop` LIKE 'tp_member_user'\G
#    SHOW CREATE TABLE `8518shop`.`tp_member_user`\G
#    SHOW TABLE STATUS FROM `8518shop` LIKE 'tp_member_user_status'\G
#    SHOW CREATE TABLE `8518shop`.`tp_member_user_status`\G
# EXPLAIN /*!50100 PARTITIONS*/
select a.* from tp_member_user a left join tp_member_user_status b on a.id=b.user_id where b.user_id is null  order by a.id limit 0,1\G

我们对以上红色框图标记的报表信息进行详细描述，事实上这也是我们需要掌握的重点：

0. pct :sql语句某执行属性占所有慢查询语句某执行属性的百分比
1. total：sql语句某执行属性的所有属性时间。
2. Count：sql语句执行的次数，对应的pct 表示此sql 语句执行次数占所有慢查询语句执行次数的％比。上图为33%，total:表示总共执行了2次。
3. Exec time:sql执行时间
4.Lock time:sql执行期间被锁定的时间
5.Rows sent:传输的有效数据，在select 查询语句中才有值
6.Rows examine:总共查询的数据，非目标数据。
7.Query_time distribution:查询时间分布
8.SQL 语句:上图中为select a.* from tp_member_user a left join tp_member_user_status b on a.id=b.user_id where b.user_id is null  order by a.id limit 0,1\G

举例说明：假如某执行次数(count) 占比较高的sql语句，执行时间很长，Rows sent 数值很小，Rows examine 数值很大则表明(I/O较大)。那就表明有可能 sql 查询语句走了全表扫描，或者全索引扫描。那么就要建立合适索引或者优化sql语句了。
 

如下展示了我们在分析慢查询时需要着重分析的三点：