MYSQL performance schema详解

一、performance_schema的介绍

      MySQL的performance schema 用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况。

特点：

​        1、提供了一种在数据库运行时实时检查server的内部执行情况的方法。performance_schema 数据库中的表使用performance_schema存储引擎。该数据库主要关注数据库运行过程中的性能相关的数据，与information_schema不同，information_schema主要关注server运行过程中的元数据信息
​        2、performance_schema通过监视server的事件来实现监视server内部运行情况， “事件”就是server内部活动中所做的任何事情以及对应的时间消耗，利用这些信息来判断server中的相关资源消耗在了哪里？一般来说，事件可以是函数调用、操作系统的等待、SQL语句执行的阶段（如sql语句执行过程中的parsing 或 sorting阶段）或者整个SQL语句与SQL语句集合。事件的采集可以方便的提供server中的相关存储引擎对磁盘文件、表I/O、表锁等资源的同步调用信息。
​        3、performance_schema中的事件与写入二进制日志中的事件（描述数据修改的events）、事件计划调度程序（这是一种存储程序）的事件不同。performance_schema中的事件记录的是server执行某些活动对某些资源的消耗、耗时、这些活动执行的次数等情况。
​        4、performance_schema中的事件只记录在本地server的performance_schema中，其下的这些表中数据发生变化时不会被写入binlog中，也不会通过复制机制被复制到其他server中。
​        5、 当前活跃事件、历史事件和事件摘要相关的表中记录的信息。能提供某个事件的执行次数、使用时长。进而可用于分析某个特定线程、特定对象（如mutex或file）相关联的活动。
​        6、PERFORMANCE_SCHEMA存储引擎使用server源代码中的“检测点”来实现事件数据的收集。对于performance_schema实现机制本身的代码没有相关的单独线程来检测，这与其他功能（如复制或事件计划程序）不同
​        7、收集的事件数据存储在performance_schema数据库的表中。这些表可以使用SELECT语句查询，也可以使用SQL语句更新performance_schema数据库中的表记录（如动态修改performance_schema的setup_*开头的几个配置表，但要注意：配置表的更改会立即生效，这会影响数据收集）
​        8、performance_schema的表中的数据不会持久化存储在磁盘中，而是保存在内存中，一旦服务器重启，这些数据会丢失（包括配置表在内的整个performance_schema下的所有数据）
​        9、MySQL支持的所有平台中事件监控功能都可用，但不同平台中用于统计事件时间开销的计时器类型可能会有所差异。

二、performance schema入门

注意：在mysql的5.7版本中，性能模式是默认开启的，如果想要显式的关闭的话需要修改配置文件，不能直接进行修改，会报错Variable 'performance_schema' is a read only variable。

1.查看performance_schema的属性

mysql> SHOW VARIABLES LIKE 'performance_schema';

+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| performance_schema | ON    |
+--------------------+-------+
1 row in set (0.10 sec)

 --在配置文件中修改performance_schema的属性值，on表示开启，off表示关闭

       --切换数据库
          use performance_schema;

--查看当前数据库下的所有表,会看到有很多表存储着相关的信息

--可以通过show create table tablename来查看创建表的时候的表结构

mysql> mysql>  show create table setup_consumers;
+-----------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table           | Create Table                                                                                                                                                                                                 |
+-----------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| setup_consumers | CREATE TABLE `setup_consumers` (
  `NAME` varchar(64) NOT NULL,
  `ENABLED` enum('YES','NO') NOT NULL,
  PRIMARY KEY (`NAME`)
) ENGINE=PERFORMANCE_SCHEMA DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci |
+-----------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

 理解两个概念：

​        instruments: 生产者，用于采集mysql中各种各样的操作产生的事件信息，对应配置表中的配置项我们可以称为监控采集配置项。

​        consumers: 消费者，对应的消费者表用于存储来自instruments采集的数据，对应配置表中的配置项我们可以称为消费存储配置项。

2、performance_schema表的分类

      performance_schema库下的表可以按照监视不同的纬度就行分组。

1）语句事件记录表

   当前语句事件表events_statements_current、

   历史语句事件表events_statements_history

   长语句历史事件表events_statements_history_long

   聚合后的摘要表summary

 其中，summary表还可以根据帐号(account)，主机(host)，程序(program)，线程(thread)，用户(user)和全局(global)再进行细分)

mysql> show tables like '%statement%';
+----------------------------------------------------+
| Tables_in_performance_schema (%statement%)         |
+----------------------------------------------------+
| events_statements_current                          |
| events_statements_histogram_by_digest              |
| events_statements_histogram_global                 |
| events_statements_history                          |
| events_statements_history_long                     |
| events_statements_summary_by_account_by_event_name |
| events_statements_summary_by_digest                |
| events_statements_summary_by_host_by_event_name    |
| events_statements_summary_by_program               |
| events_statements_summary_by_thread_by_event_name  |
| events_statements_summary_by_user_by_event_name    |
| events_statements_summary_global_by_event_name     |
| prepared_statements_instances                      |
+----------------------------------------------------+
13 rows in set (0.00 sec)

2）等待事件记录表，与语句事件类型的相关记录表类似：

mysql> show tables like '%wait%';
+-----------------------------------------------+
| Tables_in_performance_schema (%wait%)         |
+-----------------------------------------------+
| data_lock_waits                               |
| events_waits_current                          |
| events_waits_history                          |
| events_waits_history_long                     |
| events_waits_summary_by_account_by_event_name |
| events_waits_summary_by_host_by_event_name    |
| events_waits_summary_by_instance              |
| events_waits_summary_by_thread_by_event_name  |
| events_waits_summary_by_user_by_event_name    |
| events_waits_summary_global_by_event_name     |
| table_io_waits_summary_by_index_usage         |
| table_io_waits_summary_by_table               |
| table_lock_waits_summary_by_table             |
+-----------------------------------------------+
13 rows in set (0.00 sec)

3）阶段事件记录表，记录语句执行的阶段事件的表

mysql> show tables like '%stage%';
+------------------------------------------------+
| Tables_in_performance_schema (%stage%)         |
+------------------------------------------------+
| events_stages_current                          |
| events_stages_history                          |
| events_stages_history_long                     |
| events_stages_summary_by_account_by_event_name |
| events_stages_summary_by_host_by_event_name    |
| events_stages_summary_by_thread_by_event_name  |
| events_stages_summary_by_user_by_event_name    |
| events_stages_summary_global_by_event_name     |
+------------------------------------------------+
8 rows in set (0.00 sec)

4）事务事件记录表，记录事务相关的事件的表

mysql> show tables like '%transaction%';
+------------------------------------------------------+
| Tables_in_performance_schema (%transaction%)         |
+------------------------------------------------------+
| events_transactions_current                          |
| events_transactions_history                          |
| events_transactions_history_long                     |
| events_transactions_summary_by_account_by_event_name |
| events_transactions_summary_by_host_by_event_name    |
| events_transactions_summary_by_thread_by_event_name  |
| events_transactions_summary_by_user_by_event_name    |
| events_transactions_summary_global_by_event_name     |
+------------------------------------------------------+
8 rows in set (0.00 sec)

5）监控文件系统层调用的表

mysql> show tables like '%file%';
+---------------------------------------+
| Tables_in_performance_schema (%file%) |
+---------------------------------------+
| file_instances                        |
| file_summary_by_event_name            |
| file_summary_by_instance              |
+---------------------------------------+
3 rows in set (0.00 sec)

6）监视内存使用的表

mysql> show tables like '%memory%';
+-----------------------------------------+
| Tables_in_performance_schema (%memory%) |
+-----------------------------------------+
| memory_summary_by_account_by_event_name |
| memory_summary_by_host_by_event_name    |
| memory_summary_by_thread_by_event_name  |
| memory_summary_by_user_by_event_name    |
| memory_summary_global_by_event_name     |
+-----------------------------------------+
5 rows in set (0.00 sec)

7）动态对performance_schema进行配置的配置表

mysql> show tables like '%setup%';
+----------------------------------------+
| Tables_in_performance_schema (%setup%) |
+----------------------------------------+
| setup_actors                           |
| setup_consumers                        |
| setup_instruments                      |
| setup_objects                          |
| setup_threads                          |
+----------------------------------------+
5 rows in set (0.00 sec)

3、performance_schema的简单配置与使用

数据库刚刚初始化并启动时，并非所有instruments(事件采集项，在采集项的配置表中每一项都有一个开关字段，或为YES，或为NO)和consumers(与采集项类似，也有一个对应的事件类型保存表配置项，为YES就表示对应的表保存性能数据，为NO就表示对应的表不保存性能数据)都启用了，所以默认不会收集所有的事件，可能你需要检测的事件并没有打开，需要进行设置，可以使用如下两个语句打开对应的instruments和consumers（行计数可能会因MySQL版本而异)。

1）打开等待事件的采集器配置项开关，需要修改setup_instruments配置表中对应的采集器配置项

mysql> UPDATE setup_instruments SET ENABLED = 'YES', TIMED = 'YES'where name like 'wait%';
Query OK, 332 rows affected (0.01 sec)
Rows matched: 383  Changed: 332  Warnings: 0

      2）打开等待事件的保存表配置开关，修改setup_consumers配置表中对应的配置项

mysql> UPDATE setup_consumers SET ENABLED = 'YES'where name like '%wait%';
Query OK, 3 rows affected (0.00 sec)
Rows matched: 3  Changed: 3  Warnings: 0

      3）当配置完成之后可以查看当前server正在做什么，可以通过查询events_waits_current表来得知，该表中每个线程只包含一行数据，用于显示每个线程的最新监视事件

mysql> select * from events_waits_current\G
*************************** 1. row ***************************
            THREAD_ID: 13
             EVENT_ID: 236
         END_EVENT_ID: 236
           EVENT_NAME: wait/synch/mutex/innodb/buf_dblwr_mutex
               SOURCE: buf0dblwr.cc:899
          TIMER_START: 13532122174265484
            TIMER_END: 13532122174543018
           TIMER_WAIT: 277534
                SPINS: NULL
        OBJECT_SCHEMA: NULL
          OBJECT_NAME: NULL
           INDEX_NAME: NULL
          OBJECT_TYPE: NULL
OBJECT_INSTANCE_BEGIN: 140062846671368
     NESTING_EVENT_ID: NULL
   NESTING_EVENT_TYPE: NULL
            OPERATION: lock
      NUMBER_OF_BYTES: NULL
                FLAGS: NULL

该信息表示线程id为13的线程正在等待buf_dblwr_mutex锁，等待事件为277534

属性说明：
    id:事件来自哪个线程，事件编号是多少
    event_name:表示检测到的具体的内容
    source:表示这个检测代码在哪个源文件中以及行号
    timer_start:表示该事件的开始时间
    timer_end:表示该事件的结束时间
    timer_wait:表示该事件总的花费时间

注意：_current表中每个线程只保留一条记录，一旦线程完成工作，该表中不会再记录该线程的事件信息

 

/*
_history表中记录每个线程应该执行完成的事件信息，但每个线程的事件信息只会记录10条，再多就会被覆盖，*_history_long表中记录所有线程的事件信息，但总记录数量是10000，超过就会被覆盖掉
*/

mysql> select thread_id,event_id,event_name,timer_wait from events_waits_history order by thread_id limit 10;
+-----------+----------+----------------------------------------------------+------------+
| thread_id | event_id | event_name                                         | timer_wait |
+-----------+----------+----------------------------------------------------+------------+
|        13 |     2041 | wait/synch/mutex/innodb/buf_pool_flush_state_mutex |     424986 |
|        13 |     2042 | wait/synch/mutex/innodb/flush_list_mutex           |      34354 |
|        13 |     2043 | wait/synch/mutex/innodb/buf_pool_flush_state_mutex |      36670 |
|        13 |     2044 | wait/synch/mutex/innodb/buf_dblwr_mutex            |     266340 |
|        13 |     2045 | wait/synch/mutex/innodb/buf_pool_flush_state_mutex |     419196 |
|        13 |     2046 | wait/synch/mutex/innodb/flush_list_mutex           |      43618 |
|        13 |     2047 | wait/synch/mutex/innodb/buf_pool_flush_state_mutex |      41302 |
|        13 |     2048 | wait/synch/mutex/innodb/buf_dblwr_mutex            |     270972 |
|        13 |     2039 | wait/synch/mutex/innodb/buf_pool_flush_state_mutex |      50180 |
|        13 |     2040 | wait/synch/mutex/innodb/buf_dblwr_mutex            |     316520 |
+-----------+----------+----------------------------------------------------+------------+
10 rows in set (0.00 sec)

/*
summary表提供所有事件的汇总信息，该组中的表以不同的方式汇总事件数据（如：按用户，按主机，按线程等等）。例如：要查看哪些instruments占用最多的时间，可以通过对events_waits_summary_global_by_event_name表的COUNT_STAR或SUM_TIMER_WAIT列进行查询（这两列是对事件的记录数执行COUNT（*）、事件记录的TIMER_WAIT列执行SUM（TIMER_WAIT）统计而来）
*/

mysql> SELECT EVENT_NAME,COUNT_STAR FROM events_waits_summary_global_by_event_name  ORDER BY COUNT_STAR DESC LIMIT 10;
+----------------------------------------------------+------------+
| EVENT_NAME                                         | COUNT_STAR |
+----------------------------------------------------+------------+
| wait/synch/mutex/innodb/flush_list_mutex           |      95526 |
| wait/synch/mutex/innodb/log_checkpointer_mutex     |      94486 |
| wait/synch/mutex/innodb/log_closer_mutex           |      10312 |
| wait/synch/mutex/innodb/log_write_notifier_mutex   |      10312 |
| wait/synch/mutex/innodb/log_flusher_mutex          |      10312 |
| wait/synch/mutex/innodb/log_writer_mutex           |      10312 |
| wait/synch/mutex/innodb/log_flush_notifier_mutex   |      10312 |
| wait/synch/mutex/innodb/buf_pool_flush_state_mutex |       2080 |
| wait/synch/mutex/innodb/sync_array_mutex           |       2078 |
| wait/io/file/innodb/innodb_data_file               |       1498 |
+----------------------------------------------------+------------+
10 rows in set (0.01 sec)

/*
instance表记录了哪些类型的对象会被检测。这些对象在被server使用时，在该表中将会产生一条事件记录，例如，file_instances表列出了文件I/O操作及其关联文件名
*/

mysql> select * from file_instances limit 10;
+-----------------------------------------------------+--------------------------------------+------------+
| FILE_NAME                                           | EVENT_NAME                           | OPEN_COUNT |
+-----------------------------------------------------+--------------------------------------+------------+
| /opt/software/mysql8.0/share/english/errmsg.sys     | wait/io/file/sql/ERRMSG              |          0 |
| /opt/software/mysql8.0/share/charsets/Index.xml     | wait/io/file/mysys/charset           |          0 |
| /opt/software/mysql8.0/data/ibdata1                 | wait/io/file/innodb/innodb_data_file |          3 |
| /opt/software/mysql8.0/data/ib_logfile0             | wait/io/file/innodb/innodb_log_file  |          2 |
| /opt/software/mysql8.0/data/ib_logfile1             | wait/io/file/innodb/innodb_log_file  |          2 |
| /opt/software/mysql8.0/data/undo_001                | wait/io/file/innodb/innodb_data_file |          3 |
| /opt/software/mysql8.0/data/undo_002                | wait/io/file/innodb/innodb_data_file |          3 |
| /opt/software/mysql8.0/data/ibtmp1                  | wait/io/file/innodb/innodb_data_file |          2 |
| /opt/software/mysql8.0/data/#innodb_temp/temp_1.ibt | wait/io/file/innodb/innodb_temp_file |          2 |
| /opt/software/mysql8.0/data/#innodb_temp/temp_2.ibt | wait/io/file/innodb/innodb_temp_file |          2 |
+-----------------------------------------------------+--------------------------------------+------------+
10 rows in set (0.00 sec)

4、常用配置项的参数说明

1、启动选项

1）performance_schema_consumer_events_statements_current=TRUE

是否在mysql server启动时就开启events_statements_current表的记录功能(该表记录当前的语句事件信息)，启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新setup_consumers配置表中的events_statements_current配置项，默认值为TRUE。

2）performance_schema_consumer_events_statements_history=TRUE

与performance_schema_consumer_events_statements_current选项类似，但该选项是用于配置是否记录语句事件短历史信息，默认为TRUE

3）performance_schema_consumer_events_stages_history_long=FALSE

与performance_schema_consumer_events_statements_current选项类似，但该选项是用于配置是否记录语句事件长历史信息，默认为FALSE

除了statement(语句)事件之外，还支持：wait(等待)事件、state(阶段)事件、transaction(事务)事件，他们与statement事件一样都有三个启动项分别进行配置，但这些等待事件默认未启用，如果需要在MySQL Server启动时一同启动，则通常需要写进my.cnf配置文件中
       4）performance_schema_consumer_global_instrumentation=TRUE

是否在MySQL Server启动时就开启全局表（如：mutex_instances、rwlock_instances、cond_instances、file_instances、users、hostsaccounts、socket_summary_by_event_name、file_summary_by_instance等大部分的全局对象计数统计和事件汇总统计信息表 ）的记录功能，启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新全局配置项
       默认值为TRUE

5）performance_schema_consumer_statements_digest=TRUE

是否在MySQL Server启动时就开启events_statements_summary_by_digest 表的记录功能，启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新digest配置项
        默认值为TRUE

6) performance_schema_consumer_thread_instrumentation=TRUE

是否在MySQL Server启动时就开启

7)events_xxx_summary_by_yyy_by_event_name表的记录功能，启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新线程配置项
       默认值为TRUE

8)performance_schema_instrument[=name]

是否在MySQL Server启动时就启用某些采集器，由于instruments配置项多达数千个，所以该配置项支持key-value模式，还支持%号进行通配等，如下:

# [=name]可以指定为具体的Instruments名称（但是这样如果有多个需要指定的时候，就需要使用该选项多次），也可以使用通配符，可以指定instruments相同的前缀+通配符，也可以使用%代表所有的instruments

## 指定开启单个instruments

--performance-schema-instrument= 'instrument_name=value'

## 使用通配符指定开启多个instruments

--performance-schema-instrument= 'wait/synch/cond/%=COUNTED'

## 开关所有的instruments

--performance-schema-instrument= '%=ON'

--performance-schema-instrument= '%=OFF'

注意，这些启动选项要生效的前提是，需要设置performance_schema=ON。另外，这些启动选项虽然无法使用show variables语句查看，但我们可以通过setup_instruments和setup_consumers表查询这些选项指定的值。

2、系统变量

--sql
       show variables like '%performance_schema%';
       --重要的属性解释
      performance_schema=ON
      控制performance_schema功能的开关，要使用MySQL的performance_schema，需要在mysqld启动时启用，以启用事件收集功能
      该参数在5.7.x之前支持performance_schema的版本中默认关闭，5.7.x版本开始默认开启
      注意：如果mysqld在初始化performance_schema时发现无法分配任何相关的内部缓冲区，则performance_schema将自动禁用，并将performance_schema设置为OFF
 

      performance_schema_digests_size=10000
     控制events_statements_summary_by_digest表中的最大行数。如果产生的语句摘要信息超过此最大值，便无法继续存入该表，此时performance_schema会增加状态变量

     performance_schema_events_statements_history_long_size=10000
    控制events_statements_history_long表中的最大行数，该参数控制所有会话在events_statements_history_long表中能够存放的总事件记录数，超过这个限制之后，最早的记录将被覆盖
    全局变量，只读变量，整型值，5.6.3版本引入 * 5.6.x版本中，5.6.5及其之前的版本默认为10000，5.6.6及其之后的版本默认值为-1，通常情况下，自动计算的值都是10000 * 5.7.x版本中，默认值为-1，通常情况下，自动计算的值都是10000

    performance_schema_events_statements_history_size=10
    控制events_statements_history表中单个线程（会话）的最大行数，该参数控制单个会话在events_statements_history表中能够存放的事件记录数，超过这个限制之后，单个会话最早的记录将被覆盖
    全局变量，只读变量，整型值，5.6.3版本引入 * 5.6.x版本中，5.6.5及其之前的版本默认为10，5.6.6及其之后的版本默认值为-1，通常情况下，自动计算的值都是10 * 5.7.x版本中，默认值为-1，通常情况下，自动计算的值都是10
    除了statement(语句)事件之外，wait(等待)事件、state(阶段)事件、transaction(事务)事件，他们与statement事件一样都有三个参数分别进行存储限制配置，有兴趣的同学自行研究，这里不再赘述

    performance_schema_max_digest_length=1024
    用于控制标准化形式的SQL语句文本在存入performance_schema时的限制长度，该变量与max_digest_length变量相关(max_digest_length变量含义请自行查阅相关资料)
    全局变量，只读变量，默认值1024字节，整型值，取值范围0~1048576

    performance_schema_max_sql_text_length=1024
    控制存入events_statements_current，events_statements_history和events_statements_history_long语句事件表中的SQL_TEXT列的最大SQL长度字节数。 超出系统变量performance_schema_max_sql_text_length的部分将被丢弃，不会记录，一般情况下不需要调整该参数，除非被截断的部分与其他SQL比起来有很大差异
     全局变量，只读变量，整型值，默认值为1024字节，取值范围为0~1048576，5.7.6版本引入
     降低系统变量performance_schema_max_sql_text_length值可以减少内存使用，但如果汇总的SQL中，被截断部分有较大差异，会导致没有办法再对这些有较大差异的SQL进行区分。 增加该系统变量值会增加内存使用，但对于汇总SQL来讲可以更精准地区分不同的部分。