最近项目开发中,我负责给数据库加索引。Mysql提供了丰富的索引类型,主要是B树索引(前缀索引、复合索引),Hash索引,空间数据索引(R-Tree),全文索引。各种索引的应用条件考虑的因素会很多,所以提供一种方式验证sql语句执行效率对于索引选择决策就至关重要。
show profile VS performance schema
Mysql 提供了两种方式,一种是show profile syntax,一种是Performance schema。前者在5.7版本中已经摒弃,并且没办法获取其他线程的执行时间。
NOTE: These statements are deprecated as of MySQL 5.6.7 and will be removed in a future MySQL release. Use the Performance Schema instead; see Section 22.17.1, “Query Profiling Using Performance Schema” .
实际上前者能做的,后者都能做,并且后者还可以获取到每一个sql语句执行阶段(stage)消耗的时间。接下来就介绍performance schema的使用
开启Docker
在Docker 官网下载安装即可
docker ps
运行Mysql数据库
从官网拉去github镜像 & 运行
docker pull mysql:latest
本地运行两个数据库,用于对比有索引和没索引的执行时间消耗
docker run -d -p 13306:3306 --name mysql -e MYSQL_ROOT_PASSWORD=**password** mysql
docker run -d -p 13306:3306 --name mysql -e MYSQL_ROOT_PASSWORD=**password** mysql
导入测试数据
因为有足够的权限,我是从线上的数据库导出了一份完整的数据,然后导入到本地的,如果你没有线上环境的数据,可以使用Mysql官方提供的测试数据,放在了 Github上。
导出数据
mysql -u sunkuo -p -B databaseName > ~/Desktop/db.sql
导入数据
mysql -u root -h 127.0.0.1 -P 13306 -p < ~/Desktop/db.sql
mysql -u root -h 127.0.0.1 -P 13307 -p < ~/Desktop/db.sql
注意,如果线上的数据库已经有索引了,那么请修复db.sql,将里面建表的语句去掉索引部分。
Performance schema table
简单介绍下performanche_schema 数据库和里面相关的表。Performanc_schema数据库是Mysql提供的用来在较低层面监控服务器执行的特性,它有这样几个特征。
- 底层监控服务器执行能力,使用Performance_schema存储引擎和Performance_schema数据库,聚焦于性能数据。
The Performance Schema provides a way to inspect internal execution of the server at runtime. It is implemented using the PERFORMANCE_SCHEMA storage engine and the performance_schema database. The Performance Schema focuses primarily on performance data.
- 监控服务器事件,“事件”是任何花时间并且被检测的事情。
The Performance Schema monitors server events. An “event” is anything the server does that takes time and has been instrumented so that timing information can be collected.
- 此事件不同于日志事件和循环事件。
Performance Schema events are distinct from events written to the server's binary log (which describe data modifications) and Event Scheduler events (which are a type of stored program).
- 针对特定Mysql实例。
Performance Schema events are specific to a given instance of the MySQL Server. Performance Schema tables are considered local to the server, and changes to them are not replicated or written to the binary log.
- 可以监控当前时间、历史事件、和汇总。
Current events are available, as well as event histories and summaries. This enables you to determine how many times instrumented activities were performed and how much time they took.
- 监控配置可以通过修改Performance_data数据库里面的表进行,立即生效。
Performance Schema configuration can be modified dynamically by updating tables in the performance_schema database through SQL statements. Configuration changes affect data collection immediately.
- 数据存在内存中,不占据硬盘。
Tables in the Performance Schema are in-memory tables that use no persistent on-disk storage. The contents are repopulated beginning at server startup and discarded at server shutdown
Performance_schema数据库中主要有这样几类数据表。
- Setup tables; 存储配置选项。
- Current events tables; 包含每个线程最近的事件。
- History tables; 和Current events tables表结构一样,但是每个线程的行更多。
- Summary tables; 包含聚合信息。
- Instance tables; Document what types of objects are instrumented.
- Miscellaneous tables; These do not fall into any of the other table groups.(我也没看懂这个表是干什么用的)
获取sql执行时间
开启Performance_schema选项
show variables like 'performance_schema'
一般情况下,Performance_shema都是默认开启的,如果你想关闭它,需要在配置文件里添加如下语句
performance_schema=off
然后重启Mysql实例
配置需要监控的表
Mysql Performance_schema里面的监控也是基于生产、消费者模式。代码里面的事件产生事件和记录消耗事件,Performance_schema里面的数据表记录这些事件(消费这些事件),所以我们要确保两件事情
- 生产sql执行时间的生产者需要打开(通过配置setup_instruments表)
- 消费sql执行时间的消费者需要打开(通过配置setup_consumers表)
执行Sql语句来做到这两件事情
update setup_instruments set ENABLED='YES', TIMED='YES' where name like 'statement%'
update setup\_consumers set ENABLED='YES' where name like '%events\_statements\_%’;
可以通过下面的语句确认下
select * from setup_instruments where name like 'statement%'
select * from setup_consumers
执行语句
查看执行时间
在这里,我们通过events_statements_history 查看执行时间。该表显示当前线程最近的N条记录执行时间。
select event_id, TRUNCATE(TIMER_WAIT/1000000000000,6), sql_text from events\_statements\_history order by event_id asc limit 1;
可以看到
从而我们知道刚才的sql语句执行时间是0.0136秒
获取sql执行阶段消耗时间
开启Performance_schema选项
在上一步我们已经开启了Performance_schema,此处不再复述。
配置需要监控的表
- 生产sql执行时间的生产者需要打开(通过配置setup_instruments表)
update setup_instruments set ENABLED='YES', TIMED='YES' where name like 'stage%'
- 消费sql执行时间的消费者需要打开(通过配置setup_consumers表)
update setup_consumers set ENABLED='YES' where name like '%events_stages_%'
执行语句
获取EventId
select event_id, TRUNCATE(TIMER_WAIT/1000000000000,6), sql_text from events_statements_history order by event_id asc limit 1;
在输出结果中,记录event_id,下一步查询会用到
查看执行阶段消耗时间
SELECT event_name AS Stage, TRUNCATE(TIMER_WAIT/1000000000000,6) AS Duration FROM performance_schema.events_stages_history WHERE NESTING_EVENT_ID=eventId;
总结
本文对Performance_schema做了一个简单的介绍,帮助大家更好的衡量mysql 索引效率,而不是凭空想象。