Mysql Tuning Practice

最近项目开发中,我负责给数据库加索引。Mysql提供了丰富的索引类型,主要是B树索引(前缀索引、复合索引),Hash索引,空间数据索引(R-Tree),全文索引。各种索引的应用条件考虑的因素会很多,所以提供一种方式验证sql语句执行效率对于索引选择决策就至关重要。

show profile VS performance schema

Mysql 提供了两种方式,一种是show profile syntax,一种是Performance schema。前者在5.7版本中已经摒弃,并且没办法获取其他线程的执行时间。

NOTE: These statements are deprecated as of MySQL 5.6.7 and will be removed in a future MySQL release. Use the Performance Schema instead; see Section 22.17.1, “Query Profiling Using Performance Schema” .

实际上前者能做的,后者都能做,并且后者还可以获取到每一个sql语句执行阶段(stage)消耗的时间。接下来就介绍performance schema的使用

开启Docker

在Docker 官网下载安装即可
docker ps

运行Mysql数据库

从官网拉去github镜像 & 运行
docker pull mysql:latest
本地运行两个数据库,用于对比有索引和没索引的执行时间消耗
docker run -d -p 13306:3306 --name mysql -e MYSQL_ROOT_PASSWORD=**password** mysql
docker run -d -p 13306:3306 --name mysql -e MYSQL_ROOT_PASSWORD=**password** mysql

导入测试数据

因为有足够的权限,我是从线上的数据库导出了一份完整的数据,然后导入到本地的,如果你没有线上环境的数据,可以使用Mysql官方提供的测试数据,放在了 Github上。

导出数据

mysql -u sunkuo -p -B databaseName > ~/Desktop/db.sql

导入数据

mysql -u root -h 127.0.0.1 -P 13306 -p < ~/Desktop/db.sql
mysql -u root -h 127.0.0.1 -P 13307 -p < ~/Desktop/db.sql

注意,如果线上的数据库已经有索引了,那么请修复db.sql,将里面建表的语句去掉索引部分。

Performance schema table

简单介绍下performanche_schema 数据库和里面相关的表。Performanc_schema数据库是Mysql提供的用来在较低层面监控服务器执行的特性,它有这样几个特征。

  • 底层监控服务器执行能力,使用Performance_schema存储引擎和Performance_schema数据库,聚焦于性能数据。

The Performance Schema provides a way to inspect internal execution of the server at runtime. It is implemented using the PERFORMANCE_SCHEMA storage engine and the performance_schema database. The Performance Schema focuses primarily on performance data.

  • 监控服务器事件,“事件”是任何花时间并且被检测的事情。

The Performance Schema monitors server events. An “event” is anything the server does that takes time and has been instrumented so that timing information can be collected.

  • 此事件不同于日志事件和循环事件。

Performance Schema events are distinct from events written to the server's binary log (which describe data modifications) and Event Scheduler events (which are a type of stored program).

  • 针对特定Mysql实例。

Performance Schema events are specific to a given instance of the MySQL Server. Performance Schema tables are considered local to the server, and changes to them are not replicated or written to the binary log.

  • 可以监控当前时间、历史事件、和汇总。

Current events are available, as well as event histories and summaries. This enables you to determine how many times instrumented activities were performed and how much time they took.

  • 监控配置可以通过修改Performance_data数据库里面的表进行,立即生效。

Performance Schema configuration can be modified dynamically by updating tables in the performance_schema database through SQL statements. Configuration changes affect data collection immediately.

  • 数据存在内存中,不占据硬盘。

Tables in the Performance Schema are in-memory tables that use no persistent on-disk storage. The contents are repopulated beginning at server startup and discarded at server shutdown

Performance_schema数据库中主要有这样几类数据表。

  • Setup tables; 存储配置选项。
  • Current events tables; 包含每个线程最近的事件。
  • History tables; 和Current events tables表结构一样,但是每个线程的行更多。
  • Summary tables; 包含聚合信息。
  • Instance tables; Document what types of objects are instrumented.
  • Miscellaneous tables; These do not fall into any of the other table groups.(我也没看懂这个表是干什么用的)

获取sql执行时间

开启Performance_schema选项

show variables like 'performance_schema'
一般情况下,Performance_shema都是默认开启的,如果你想关闭它,需要在配置文件里添加如下语句
performance_schema=off
然后重启Mysql实例

Mysql Tuning Practice_第1张图片

配置需要监控的表

Mysql Performance_schema里面的监控也是基于生产、消费者模式。代码里面的事件产生事件和记录消耗事件,Performance_schema里面的数据表记录这些事件(消费这些事件),所以我们要确保两件事情

  • 生产sql执行时间的生产者需要打开(通过配置setup_instruments表)
  • 消费sql执行时间的消费者需要打开(通过配置setup_consumers表)
    执行Sql语句来做到这两件事情
    update setup_instruments set ENABLED='YES', TIMED='YES' where name like 'statement%'
    update setup\_consumers set ENABLED='YES' where name like '%events\_statements\_%’;
    可以通过下面的语句确认下
    select * from setup_instruments where name like 'statement%'
    Mysql Tuning Practice_第2张图片

    select * from setup_consumers
    Mysql Tuning Practice_第3张图片

执行语句

查看执行时间

在这里,我们通过events_statements_history 查看执行时间。该表显示当前线程最近的N条记录执行时间。
select event_id, TRUNCATE(TIMER_WAIT/1000000000000,6), sql_text from events\_statements\_history order by event_id asc limit 1;
可以看到

Mysql Tuning Practice_第4张图片

从而我们知道刚才的sql语句执行时间是0.0136秒

获取sql执行阶段消耗时间

开启Performance_schema选项

在上一步我们已经开启了Performance_schema,此处不再复述。

配置需要监控的表

  • 生产sql执行时间的生产者需要打开(通过配置setup_instruments表)
    update setup_instruments set ENABLED='YES', TIMED='YES' where name like 'stage%'
  • 消费sql执行时间的消费者需要打开(通过配置setup_consumers表)
    update setup_consumers set ENABLED='YES' where name like '%events_stages_%'

执行语句

获取EventId

select event_id, TRUNCATE(TIMER_WAIT/1000000000000,6), sql_text from events_statements_history order by event_id asc limit 1;
在输出结果中,记录event_id,下一步查询会用到

查看执行阶段消耗时间

SELECT event_name AS Stage, TRUNCATE(TIMER_WAIT/1000000000000,6) AS Duration FROM performance_schema.events_stages_history WHERE NESTING_EVENT_ID=eventId;

Mysql Tuning Practice_第5张图片

总结

本文对Performance_schema做了一个简单的介绍,帮助大家更好的衡量mysql 索引效率,而不是凭空想象。

你可能感兴趣的:(Mysql Tuning Practice)