Mysql调优之性能监控工具详解
Mysql调优之性能监控工具详解
文章目录
- Mysql调优之性能监控工具详解
-
- 1. Mysql性能监控
-
- 1. show profile
-
- 1. 命令介绍
- 2. 开启和关闭
- 3. 参数介绍
- 2. performance schema
-
- 1. 基本使用
- 2. 表的分类
- 3. 常用的配置项
- 4. 常用的操作
- 3. show processlist
-
- 1. 命令详解
- 2. 总结
1. Mysql性能监控
在实际使用过程中我们需要结合实际的情况来进行使用，通常可以搭配使用，比如performance schame这个表里的东西能提供给我们很多信息，我们在使用 show profile工具中对sql进行详细的查看，那么久可以得到具体的sql执行过程，对sql调优和优化来说，这三个工具是经常用到的。
1. show profile
1. 命令介绍
show profile 是查询剖析工具，默认是关闭的，需要手动开启，开启后我们可以根据执行sql的query_id来进行查看内存、cpu、数据块块io、swaps次数等信息，方便我们对代码进行调优。
2. 开启和关闭
查看是否开启，为0表示未开启，为1表示已开启
select @@profiling;
开启profile：
SET profiling = 1;
执行完sql后查看query_id
show profiles;
根据query_id 查看详情：
3. 参数介绍
上面使用的是ALL参数，可以查看所有信息，profile提供了以下参数供我们来查看具体的信息：
语法如下：
show profile <type> for query <query_id>;
type类型如下：
all：显示所有性能信息
block io：显示块io操作的次数
context switches：显示上下文切换次数，被动和主动
cpu：显示用户cpu时间、系统cpu时间
IPC：显示发送和接受的消息数量
page faults：显示页错误数量
source：显示源码中的函数名称与位置
swaps：显示swap的次数
2. performance schema
1. 基本使用
MySQL的performance schema 用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况。可以通过这个工具实时检查server内部的执行情况，关注点在数据库服务运行过程中的性能相关的数据，performance schema中的时间记录的是server执行某些活动对某些资源的消耗、耗时、执行次数的数据。
性能模式默认是开启的，如果需要关闭，修改配置文件后重启服务即可。
查看performance schema是否开启，on表示开启，off表示关闭
SHOW VARIABLES LIKE 'performance_schema';
关闭需要在配置文件中增加如下内容：
[mysqld]
performance_schema=OFF
查看performance_schema数据库内的表
-- 切换到performance_schema 库
use performance_schema;
-- 查看表
show tables;
2. 表的分类
上面的表有点多，其实这里面的表是由分类的：
--语句事件记录表，这些表记录了语句事件信息，当前语句事件表events_statements_current、历史语句事件表events_statements_history和长语句历史事件表events_statements_history_long、以及聚合后的摘要表summary，其中，summary表还可以根据帐号(account)，主机(host)，程序(program)，线程(thread)，用户(user)和全局(global)再进行细分)
show tables like '%statement%';
--等待事件记录表，与语句事件类型的相关记录表类似：
show tables like '%wait%';
--阶段事件记录表，记录语句执行的阶段事件的表
show tables like '%stage%';
--事务事件记录表，记录事务相关的事件的表
show tables like '%transaction%';
--监控文件系统层调用的表
show tables like '%file%';
--监视内存使用的表
show tables like '%memory%';
--动态对performance_schema进行配置的配置表
show tables like '%setup%';
3. 常用的配置项
在MySQL中对数据收集有两个概念，所有的数据都是通过这两个组件来收集汇聚的：
instruments: 生产者，用于采集mysql中各种各样的操作产生的事件信息，对应配置表中的配置项我们可以称为监控采集配置项。
consumers:消费者，对应的消费者表用于存储来自instruments采集的数据，对应配置表中的配置项我们可以称为消费存储配置项。
如果要查看详细的数据，通常需要开启：
--打开等待事件的采集器配置项开关，需要修改setup_instruments配置表中对应的采集器配置项
UPDATE setup_instruments SET ENABLED = 'YES', TIMED = 'YES'where name like 'wait%';
--打开等待事件的保存表配置开关，修改setup_consumers配置表中对应的配置项
UPDATE setup_consumers SET ENABLED = 'YES'where name like '%wait%';
常用配置设置：
performance_schema_consumer_events_statements_current=TRUE
是否在mysql server启动时就开启events_statements_current表的记录功能(该表记录当前的语句事件信息)，启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新setup_consumers配置表中的events_statements_current配置项，默认值为TRUE
performance_schema_consumer_events_statements_history=TRUE
与performance_schema_consumer_events_statements_current选项类似，但该选项是用于配置是否记录语句事件短历史信息，默认为TRUE
performance_schema_consumer_events_stages_history_long=FALSE
与performance_schema_consumer_events_statements_current选项类似，但该选项是用于配置是否记录语句事件长历史信息，默认为FALSE
除了statement(语句)事件之外，还支持：wait(等待)事件、state(阶段)事件、transaction(事务)事件，他们与statement事件一样都有三个启动项分别进行配置，但这些等待事件默认未启用，如果需要在MySQL Server启动时一同启动，则通常需要写进my.cnf配置文件中
performance_schema_consumer_global_instrumentation=TRUE
是否在MySQL Server启动时就开启全局表（如：mutex_instances、rwlock_instances、cond_instances、file_instances、users、hostsaccounts、socket_summary_by_event_name、file_summary_by_instance等大部分的全局对象计数统计和事件汇总统计信息表 ）的记录功能，启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新全局配置项
默认值为TRUE
performance_schema_consumer_statements_digest=TRUE
是否在MySQL Server启动时就开启events_statements_summary_by_digest 表的记录功能，启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新digest配置项
默认值为TRUE
performance_schema_consumer_thread_instrumentation=TRUE
是否在MySQL Server启动时就开启
events_xxx_summary_by_yyy_by_event_name表的记录功能，启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新线程配置项
默认值为TRUE
performance_schema_instrument[=name]
是否在MySQL Server启动时就启用某些采集器，由于instruments配置项多达数千个，所以该配置项支持key-value模式，还支持%号进行通配等，如下:
# [=name]可以指定为具体的Instruments名称（但是这样如果有多个需要指定的时候，就需要使用该选项多次），也可以使用通配符，可以指定instruments相同的前缀+通配符，也可以使用%代表所有的instruments
## 指定开启单个instruments
--performance-schema-instrument= 'instrument_name=value'
## 使用通配符指定开启多个instruments
--performance-schema-instrument= 'wait/synch/cond/%=COUNTED'
## 开关所有的instruments
--performance-schema-instrument= '%=ON'
--performance-schema-instrument= '%=OFF'
注意，这些启动选项要生效的前提是，需要设置performance_schema=ON。另外，这些启动选项虽然无法使用show variables语句查看，但我们可以通过setup_instruments和setup_consumers表查询这些选项指定的值。
4. 常用的操作
--1、哪类的SQL执行最多？
SELECT DIGEST_TEXT,COUNT_STAR,FIRST_SEEN,LAST_SEEN FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--2、哪类SQL的平均响应时间最多？
SELECT DIGEST_TEXT,AVG_TIMER_WAIT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--3、哪类SQL排序记录数最多？
SELECT DIGEST_TEXT,SUM_SORT_ROWS FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--4、哪类SQL扫描记录数最多？
SELECT DIGEST_TEXT,SUM_ROWS_EXAMINED FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--5、哪类SQL使用临时表最多？
SELECT DIGEST_TEXT,SUM_CREATED_TMP_TABLES,SUM_CREATED_TMP_DISK_TABLES FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--6、哪类SQL返回结果集最多？
SELECT DIGEST_TEXT,SUM_ROWS_SENT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--7、哪个表物理IO最多？
SELECT file_name,event_name,SUM_NUMBER_OF_BYTES_READ,SUM_NUMBER_OF_BYTES_WRITE FROM file_summary_by_instance ORDER BY SUM_NUMBER_OF_BYTES_READ + SUM_NUMBER_OF_BYTES_WRITE DESC
--8、哪个表逻辑IO最多？
SELECT object_name,COUNT_READ,COUNT_WRITE,COUNT_FETCH,SUM_TIMER_WAIT FROM table_io_waits_summary_by_table ORDER BY sum_timer_wait DESC
--9、哪个索引访问最多？
SELECT OBJECT_NAME,INDEX_NAME,COUNT_FETCH,COUNT_INSERT,COUNT_UPDATE,COUNT_DELETE FROM table_io_waits_summary_by_index_usage ORDER BY SUM_TIMER_WAIT DESC
--10、哪个索引从来没有用过？
SELECT OBJECT_SCHEMA,OBJECT_NAME,INDEX_NAME FROM table_io_waits_summary_by_index_usage WHERE INDEX_NAME IS NOT NULL AND COUNT_STAR = 0 AND OBJECT_SCHEMA <> 'mysql' ORDER BY OBJECT_SCHEMA,OBJECT_NAME;
--11、哪个等待事件消耗时间最多？
SELECT EVENT_NAME,COUNT_STAR,SUM_TIMER_WAIT,AVG_TIMER_WAIT FROM events_waits_summary_global_by_event_name WHERE event_name != 'idle' ORDER BY SUM_TIMER_WAIT DESC
--12-1、剖析某条SQL的执行情况，包括statement信息，stege信息，wait信息
SELECT EVENT_ID,sql_text FROM events_statements_history WHERE sql_text LIKE '%count(*)%';
--12-2、查看每个阶段的时间消耗
SELECT event_id,EVENT_NAME,SOURCE,TIMER_END - TIMER_START FROM events_stages_history_long WHERE NESTING_EVENT_ID = 1553;
--12-3、查看每个阶段的锁等待情况
SELECT event_id,event_name,source,timer_wait,object_name,index_name,operation,nesting_event_id FROM events_waits_history_longWHERE nesting_event_id = 1553;
3. show processlist
1. 命令详解
show processlist是用来查看数据库连接情况的，通常是管理员来查看，具体的属性如下：
id：表示session id
user：表示登录的用户
host：表示登录的主机
db：表示登录的数据库
sleep：线程正在等待客户端发送新的请求
query：线程正在执行查询或正在将结果发送给客户端
locked：在mysql的服务层，该线程正在等待表锁
analyzing and statistics：线程正在收集存储引擎的统计信息，并生成查询的执行计划
Copying to tmp table：线程正在执行查询，并且将其结果集都复制到一个临时表中
sorting result：线程正在对结果集进行排序
sending data：线程可能在多个状态之间传送数据，或者在生成结果集或者向客户端返回数据
info表示详细的sql语句
time表示相应命令执行时间
state表示命令执行状态
2. 总结
- show profile : 这个工具用来排查sql执行过程和对服务器资源使用情况。
- performance_schema：这个工具记录了sql内部的事件信息，可以用来查询很多系统使用信息。
- show processlise：这个工具主要针对数据库连接情况的查看