sys 系统库 笔记(一)—— 简介与快速入门

系列文章参考自《MySQL 性能优化金字塔法则》,删除了书里重复说明和过于复杂的一些解释,完整版请参考原书。

前面一系列笔记介绍了performance_schema系统库,把它放在最前面其中一个原因就是因为它是sys系统库的数据来源。本系列基于MySQL 5.7.18 版本整理

 

一、 sys系统库使用前提

使用sys系统库前,需要确保数据库环境满足如下条件:

1)MySQL 5.6或更高版本

2)启用performance_schema(performance_schema=on)

3)要完全访问sys系统库,用户必须具有以下权限:

  • 对所有sys表和视图具有SELECT权限
  • 对所有sys存储过程和函数具有EXECUTE权限
  • 对sys_config表具有INSERT、UPDATE权限
  • 对某些特定的sys系统库存储过程和函数需要额外权限,如,ps_setup_save()存储过程,需要临时表相关的权限

4)要有与被sys系统库执行访问的对象相关的权限

  • 任何被sys系统库访问的performance_schema表需要有SELECT权限;要使用sys系统库对performance_schema相关表执行更新,则需要performance_schema相关表的UPDATE权限
  • INFORMATION_SCHEMA.INNODB_BUFFER_PAGE表的PROCESS权限

5)要充分使用sys系统库的功能,必须启用某些performance_schema的instruments和consumers:

  • 所有wait instruments
  • 所有stage instruments
  • 所有statement instruments
  • 对于所启用的类型事件的instruments,还需要启用对应类型的consumers(xxx_current和xxx_history_long)

可以使用sys系统库来启用所有需要的instruments和consumers(存储过程具体内容可通过 show create procedure procedure_name; 语句查看):

  • 启用所有wait instruments:CALL sys.ps_setup_enable_instrument('wait');
  • 启用所有stage instruments:CALL sys.ps_setup_enable_instrument('stage');
  • 启用所有statement instruments:CALL sys.ps_setup_enable_instrument('statement');
  • 启用所有事件类型的current表:CALL sys.ps_setup_enable_consumer('current');
  • 启用所有事件类型的history_long表:CALL sys.ps_setup_enable_consumer('history_long');

注意:

performance_schema的默认配置就可以满足sys系统库的大部分数据收集功能。启用上述所提及的所有instruments和consumers会对性能产生一定影响,最好仅启用所需的配置。可以使用 CALL sys.ps_setup_reset_to_default(TRUE); 快速恢复到performance_schema的默认配置。

对于以上繁杂的权限要求,通常创建一个具有管理员权限的账号即可,当然如果你有明确的需求,那另当别论,但sys系统库通常都是提供给DBA排查一些特定问题使用的,其下所涉及的各项查询或多或少都会对性能有一定影响(主要体现在performance_schema功能实现的性能开销),在不明需求的情况下,不建议开放这些功能来作为常规的监控手段使用。

 

二、 sys系统库初体验

可以切换到sys系统库下直接查询视图,就像查询某个库下的表一样,如下:

# version视图可以查看sys 系统库和mysql server的版本号
mysql> USE sys;
mysql> SELECT * FROM version;
+ ------------- + ----------------- +
| sys_version | mysql_version |
+ ------------- + ----------------- +
| 1.5.0 | 5.7.9-debug-log |
+ ------------- + ----------------- +

sys 系统库下包含许多视图,以各种方式对performance_schema表进行聚合计算展示。其中大部分是成对出现,两个视图名称相同,但有一个视图带'x$'字符前缀,例如:host_summary_by_file_io和x$host_summary_by_file_io,代表按照主机进行汇总统计的文件I/O性能数据,两个视图访问数据源是相同的,但是创建视图的语句中,不带x$的视图是把相关数值数据经过单位换算再显示的,带x$前缀的视图显示的是原始的数据(皮秒)。

# 输出信息经过单位换算,可读性更高
mysql> SELECT * FROM host_summary_by_file_io;
+------------+-------+------------+
| host      | ios  | io_latency |
+------------+-------+------------+
| localhost  | 67570 | 5.38 s    |
| background |  3468 | 4.18 s    |
+------------+-------+------------+

# 带x$的视图显示原始的皮秒单位数值,对于程序或工具获取使用更易于数据处理
mysql> SELECT * FROM x$host_summary_by_file_io;
+------------+-------+---------------+
| host      | ios  | io_latency    |
+------------+-------+---------------+
| localhost  | 67574 | 5380678125144 |
| background |  3474 | 4758696829416 |
+------------+-------+---------------+

要查看sys 系统库对象定义语句,可以使用适当的SHOW语句或INFORMATION_SCHEMA库查询。

mysql> SHOW CREATE VIEW session;
mysql> SHOW CREATE FUNCTION format_bytes;

要查看更易读的格式对象定义语句,可以访问sys 系统库开发网站https://github.com/mysql/mysql-sys上的各个.sql文件,或者使用mysqldump与mysqlpump工具导出sys库,默认情况下,mysqldump和mysqlpump都不会导出sys 系统库。要生成包含sys 系统库的导出文件,可以使用如下命令显式指定sys 系统库。虽然可以导出视图定义,但是与原始的定义语句相比仍然缺失了相当一部分内容,只是可读性比直接show create view要好一些:

mysqldump --databases --routines sys> sys_dump.sql
mysqlpump sys> sys_dump.sql
# 如果要重新导入sys 系统库,可以使用如下命令:
mysql < sys_dump.sql

 

三、 事务进度报告功能

从MySQL 5.7.9开始,sys 系统库视图提供长时间运行的事务的进度报告,通过processlist和session以及x$前缀的视图进行查看,其中processlist包含了后台和前台线程当前的事件信息,session不包含后台线程和command为Daemon的线程,如下:

processlist
session
x$processlist
x$session

session视图直接调用processlist视图过滤了后台线程和command为Daemon的线程。

processlist线程联结查询了threads、events_waits_current、events_stages_current、events_statements_current、events_transactions_current、sys.x$memory_by_thread_by_current_bytes、session_connect_attrs表,因此需要打开相应的instruments和consumers,否则谁没打开谁对应的信息字段列就为NULL,对于trx_state字段为ACTIVE的线程,progress可以输出百分比进度信息,但只有支持进度的事件才会被统计并打印。

-- 查看当前正在执行的语句进度信息
select * from session where conn_id!=connection_id() and trx_state='ACTIVE'\G;

*************************** 1. row ***************************
            thd_id: 47
          conn_id: 5
              user: admin@localhost
                db: sbtest
          command: Query
            state: alter table (merge sort)
              time: 29
current_statement: alter table sbtest1 add index i_c(c)
statement_latency: 29.34 s
          progress: 49.70  ------ 进度
      lock_latency: 4.34 ms
    rows_examined: 0
        rows_sent: 0
    rows_affected: 0
        tmp_tables: 0
  tmp_disk_tables: 0
        full_scan: NO
    last_statement: NULL
last_statement_latency: NULL
    current_memory: 4.52 KiB
        last_wait: wait/io/file/innodb/innodb_temp_file
last_wait_latency: 369.52 us
            source: os0file.ic:470
      trx_latency: 29.45 s
        trx_state: ACTIVE
    trx_autocommit: YES
              pid: 4667
      program_name: mysql
1 row in set (0.12 sec)


-- 查看已经执行完的语句相关统计信息
select * from session where conn_id!=connection_id() and trx_state='COMMITTED'\G;

*************************** 1. row ***************************
            thd_id: 47
          conn_id: 5
              user: admin@localhost
                db: sbtest
          command: Sleep
            state: NULL
              time: 372
current_statement: NULL
statement_latency: NULL
          progress: NULL ------ 已执行完、未启用、不支持进度显示的为null
      lock_latency: 4.34 ms
    rows_examined: 0
        rows_sent: 0
    rows_affected: 0
        tmp_tables: 0
  tmp_disk_tables: 0
        full_scan: NO
    last_statement: alter table sbtest1 add index i_c(c)
last_statement_latency: 1.61 m
    current_memory: 4.52 KiB
        last_wait: idle
last_wait_latency: Still Waiting
            source: socket_connection.cc:69
      trx_latency: 1.61 m
        trx_state: COMMITTED
    trx_autocommit: YES
              pid: 4667
      program_name: mysql
1 row in set (0.12 sec)

对于stage事件进度报告要求必须启用events_stages_current consumers,启用需要查看进度相关的instruments。例如:

stage/sql/Copying to tmp table
stage/innodb/alter table (end)
stage/innodb/alter table (flush)
stage/innodb/alter table (insert)
stage/innodb/alter table (log apply index)
stage/innodb/alter table (log apply table)
stage/innodb/alter table (merge sort)
stage/innodb/alter table (read PK and internal sort)
stage/innodb/buffer pool load

对于不支持进度或未启用所需的instruments或consumers的stage事件,对应的进度信息列显示为NULL。

 

更多内容参考

https://dev.mysql.com/doc/refman/5.7/en/sys-schema-progress-reporting.html

https://dev.mysql.com/doc/refman/5.7/en/sys-schema-prerequisites.html

https://dev.mysql.com/doc/refman/5.7/en/sys-schema-usage.html

你可能感兴趣的:(性能,MySQL)