Percona Toolkit工具简介

系列文章目录

第一章：sql_mode模式
第二章：optimize table、analyze table、alter table、gh-ost
第三章：InnoDB MVCC原理
第四章：sql语句执行过程
第五章：Percona Toolkit工具简介

---

---

一、Percona Toolkit简介

Percona Toolkit是是一组高级命令行工具的集合，用来执行各种通过手工执行非常复杂和麻烦的mysql和系统任务，详情见网关网址：Percona Toolkit Documentation。目前最新的3.0版本支持如下的工具：

• pt-align: 将其他工具的输出与列对齐
• pt-archiver: 用于对MySQL表数据进行归档和清除工具
• pt-config-diff: 用于my.cnf配置文件和show global variables系统变量之间的对比
• pt-deadlock-logger: 通过定时拉取和解析show engine innodb status相关信息，并将死锁信息打印在屏幕 或 写到日志文件 或 写到表，从而实现将所有发生的死锁信息都保存下来
• pt-diskstats: 磁盘性能分析
• pt-duplicate-key-checker：通过SHOW CREATE TABLE检查每一张表，找出其中重复/冗余的索引
• pt-fifo-split：对大文件进行切割
• pt-find：通过SHOW TABLE STATUS方式，查找特定的表并执行一些SQL语句
• pt-fingerprint：将SQL语句格式化为抽象化形式，可以用于数据脱敏等场景
• pt-fk-error-logger：通过定时拉取和解析show engine innodb status相关信息，并将错误信息打印在屏幕 或 写到日志文件 或 写到表，从而实现将所有发生的违反外键约束错误都保存下来
• pt-heartbeat：监控工具，第一部分是定期连接上主库，更新心跳表的时间戳；第二部分是定期连接上从库，获取心跳表的时间戳，并与操作系统时间对比计算时间差，从而得出主从延迟大小。
• pt-index-usage：多余索引检测利器
• pt-ioprofile：数据文件IO监控利器
• pt-k8s-debug-collector
• pt-kill：杀会话利器
• pt-mext：监控MySQL状态的利器
• pt-mysql-summary：汇总出MySQL数据库服务器的状态和配置
• pt-online-schema-change：用于修改表而不会造成读锁或者写锁
• pt-pmp：获取堆栈信息利器
• pt-query-digest：用于分析mysql慢查询的一个工具
• pt-secure-collect：收集、清理、打包和加密数据
• pt-show-grants：格式化打印输出MySQL上的赋权
• pt-sift
• pt-slave-delay：主从复制延迟
• pt-slave-find：查看主从环境的复制层次结构图
• pt-slave-restart：监控从库进程状态，如果遇到错误导致进程异常，会尝试重启进程。
• pt-stalk：当MySQL发生故障时收集
• pt-summary：获取操作系统概要信息。
• pt-table-checksum：一个检查主从复制数据库数据一致性的工具，通过在主库上执行检查语句可以在线检查MySQL主从数据库数据的一致性
• pt-table-sync：用于表数据的高效同步
• pt-table-usage：通过读取日志(例如：慢查询日志)中的查询语句，然后分析语句是如何使用表的，即：表之间的数据流向。
• pt-upgrade：在多个服务器上执行查询，并比较不同
• pt-variable-advisor：分析MySQL系统变量配置然后对潜在问题提出建议
• pt-visual-explain：格式化explain出来的执行计划按照tree方式输出，方便阅读

二、安装使用

这个参考：linux下percona-toolkit工具包的安装和使用（超详细版）

三、常用命令

1. pt-kill

1.1 介绍

pt-kill 是一个简单而且很实用的查杀mysql线程和查询的工具，主要是为了防止一些大/复杂/长时间查询占用数据库及系统资源，而对线上业务造成影响的情况。

1.2 常用参数

–user 用户
–password 密码
–port 端口
–host 主机
–socket 本地套接字
–match-command 匹配状态
–match-info 匹配信息
–match-state 匹配声明
–ignore-host/–match-host 匹配主机
–ignore-db/–match-db 匹配数据库
–ignore-user/–match-user 匹配用户
–kill 杀掉连接并且退出
–kill-query 只杀掉连接执行的语句，但是线程不会被终止
–print 打印满足条件的语句
–busy-time SQL运行时间的线程
–idle-time sleep时间的连接线程，必须在–match-command sleep时才有效
–interval query的间隔
–victim oldest|all|all-but-oldest 针对范围
–daemonize 是否放到后台执行
–interval 执行频率(s=seconds, m=minutes, h=hours, d=days)
–log-dsn D=test,t=pk_log 记录信息到表中

1.3 示例

• 杀运行时间超过10s的SQL语句但保留线程

pt-kill --busy-time=10 --victims all --print --kill-query

• 查某IP来源且运行时间超过20s的会话

pt-kill --match-host "10.100.50.29" --print --victims all --busy-time=20s

2. pt-query-digest

2.1 简介

分析查询执行日志，并产生一个查询报告，为 MySQL、 PostgreSQL、memcached 过滤、重放或者转换语句。

2.2 常用参数

-create-review-table
当使用–review参数把分析结果输出到表中时，如果没有表就自动创建
–create-history-table
当使用–history参数把分析结果输出到表中时，如果没有表就自动创建
–filter
对输入的慢查询按指定的字符串进行匹配过滤后再进行分析
–limit
限制输出结果百分比或数量，默认值是20,即将最慢的20条语句输出
–host
mysql服务器地址
–user
mysql用户名
–password
mysql用户密码
–history
将分析结果保存到表中，分析结果比较详细，下次再使用–history时，如果存在相同的语句，且查询所在的时间区间和历史表中的不同，则会记录到数据表中，可以通过查询同一CHECKSUM来比较某类型查询的历史变化
–review
将分析结果保存到表中，这个分析只是对查询条件进行参数化，一个类型的查询一条记录，比较简单。当下次使用–review时，如果存在相同的语句分析，就不会记录到数据表中
–output
分析结果输出类型，值可以是report(标准分析报告)、slowlog(Mysql slow log)、json、json-anon，一般使用report，以便于阅读
–since
从什么时间开始分析，值为字符串，可以是指定的某个”yyyy-mm-dd (hh:mm:ss)”格式的时间点，也可以是简单的一个时间值：s(秒)、h(小时)、m(分钟)、d(天)，如12h就表示从12小时前开始统计。
–until
截止时间，配合—since可以分析一段时间内的慢查询

2.3 示例

• 直接分析慢查询文件

pt-query-digest  /var/lib/mysql/log/mysql-slow.log

• 分析最近12小时内慢查询

pt-query-digest  --since=12h  /var/lib/mysql/log/mysql-slow.log

• 分析指含有select语句的慢查询

pt-query-digest --filter '$event->{fingerprint} =~ m/^select/i' /var/lib/mysql/log/mysql-slow.log