MySQL 开源工具集合

点击上方"蓝字"

关注我们，享更多干货！

上次聊到MySQL官方运维工具。这次再了解下常用的开源工具。

目前已收集的并在实际环境中使用过的开源工具如下：

可以说掌握了这些工具（原理和使用技巧），MySQL的日常运维就更简单。

备注：介绍中图片部分是开源社区的，部分是自己按照思路画的，画图有助于理解。

在线DDL变更

pt-osc&gh-ost都是在线变更ddl的工具。

• pt-osc在于触发器原理

  

• gh-ost不依赖于触发器,通过模拟从库,在binlog中获取增量变更,再异步应用到ghost表

  
  备注：最终都会有RENAME表名的动作。

备份恢复工具

• xtrabackup 二进制在线热备份工具，支持增量备份。目前物理备份中唯一的选择。全量方面，其实mysql8.0 clone也算是不错的选择。（高版本innobackupex已废弃）

  

• mydumper是多线逻辑备份工具，一些自研产品常用的工具，myloader是sql语句导入工具 ，同一个软件包，跟mydumper结合使用。

  

压测工具

• TPCC测试模拟了一个比较复杂的 OLTP应用环境，是一个在线零售公司。此公司对10万种商品进行销售，业务模型：批发零售系统，订单处理下的数据库的表现。

  

• sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具，可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。单语句INSERT，SELECT，UPDATE下的数据库的表现。

  

区别在于TPCC测试的业务流程，sysbench测试的单语句执行性能。按照自需选择测试工具。

闪回工具

有时会误删或者误更新数据，binlog格式必须为row，且binlog_row_image=full，并且保留下来的情况下。可以分析binlog回转SQL语句进行恢复。就是delete→insert ，insert→delete，update→update方式按照时间顺序倒序回放。常用的工具有binlog2sql和MyFlash。

大众点评 binlog2sql：

• 数据库服务必须在线状态

• 开发语言Python 2.7, 3.4+

• 仅支持 MySQL 5.6, 5.7
  https://github.com/danfengcao/binlog2sql

美团点评 MyFlash：

• 仅支持MySQL 5.6与5.7

• 只能回滚DML（增、删、改）

• 开发语言c，mysqlbinlog工具配合sed、awk

• 离线解析
  https://github.com/Meituan-Dianping/MyFlash

MyFlash做的性能对比：

• binlog2sql是要分析数据库运行中的一些状态 和 BINLOG_DUMP协议获取binlog内容

• mysqlbinlog是因为要把binlog解析的不是标准的SQL语句

• MyFlash是直接生成标准sql语句，效率上更高

慢日志分析

pt-query-digest是 Percona-Toolkit 的组件之一，非常不错的日志分析工具，优于mysqldumpslow，可以从普通日志、慢查询日志、二进制日志以及show processlist和tcpdump中对SQL进行分析。

主从一致性验证

pt-table-checksum 是 Percona-Toolkit 的组件之一，用于检测MySQL主、从库的数据是否一致。其原理是在主库执行基于statement的sql语句来生成主库数据块的checksum，把相同的sql语句传递到从库执行，并在从库上计算相同数据块的checksum，最后，比较主从库上相同数据块的checksum值，由此判断主从数据是否一致。recursion-method 方式选择host方式。

其他

• undrop-for-innodb分析ibd文件进行数据恢复工作。当误删除数据、无备份，且确保本地ibd文件没有写入，数据能恢复。但中文解析可能失败需注意。

• innodb_rub
  innodb_ruby 主要可查看innodb数据库数据表的各种存储，解析innodb的文件，用于学习数据库底层的一些存储。

备注：这里可以结合官方innnchecksum，分析MySQL8.0的ibd文件结构，便于做个类似的工具

SQL审核web工具

基于Python 及 Django，利于二次开发改造，有开发能力，可以参考。主要是依赖于pt-toolkit进行整合开发的。

• Yearning
  自动化SQL语句审核，可对SQL进行自动检测并执行。DDL/DML语句执行后自动生成回滚语句。前身是Inception。
  https://github.com/cookieY/Yearning

• Archery
  集成SQL查询、审核、执行、备份、慢日志管理等功能。
  https://github.com/hhyo/Archery

客户端图形化管理工具

主要解决数据库管理员、程序开发者提供可视化的SQL开发、数据操作、以及数据库管理功能，易学易用。特别是数据导入导出功能和二进制数据转化图片方面，比较方便。但对于DBA来说是一个潜在的风险，长时间使用这些工具，命令行易忘记。
从上到下推荐：

• Navicat

• SQLyog

• HeidiSQL：采用 Delphi 开发，支持 Windows 操作系统。支持 MySQL、MariaDB、Percona Server 和微软的 SQL Server

• MySQL Workbench 官方管理重量级工具

• PhpMyAdmin 安装部署比较麻烦，早起使用的多

总结

对于MySQL5.7版本这些工具目前支持的都非常友好，但8.0版本目前很多工具不兼容。

工具就是替代一部分功能，提高效率的。MySQL运维中提高工作效率，就需要引入这些工具，也需要使用得当，理解并熟悉用法，才是运维之道。

墨天轮原文链接：https://www.modb.pro/db/77114（复制到浏览器或者点击“阅读原文”立即查看）

关于作者

崔虎龙，云和恩墨MySQL技术顾问，长期服务于金融、游戏、物流等行业的数据中心，设计数据存储架构，并熟悉数据中心运营管理的流程及规范，自动化运维等。擅长MySQL、Redis、MongoDB数据库高可用设计和运维故障处理、备份恢复、升级迁移、性能优化。自学通过了MySQL OCP 5.6和MySQL OCP 5.7认证。2年多开发经验，10年数据库运维工作经验，其中专职做MySQL工作8年；曾经担任过项目经理、数据库经理、数据仓库架构师、MySQL技术专家、DBA等职务；涉及行业：金融（银行、理财）、物流、游戏、医疗、重工业等。

本文作者将于7月1日进行直播，在线分享MySQL常用运维工具的多个小妙招！扫码立即预约！

END

推荐阅读：267页！2020年度数据库技术年刊

推荐下载：2020数据技术嘉年华PPT下载

2020数据技术嘉年华近50个PPT下载、视频回放已上传墨天轮平台，可在“数据和云”公众号回复关键词“2020DTC”获得！

你知道吗？我们的视频号里已经发布了很多精彩的内容，快去看看吧！↓↓↓

点击下图查看更多 ↓

云和恩墨大讲堂 | 一个分享交流的地方

长按，识别二维码，加入万人交流社群

请备注：云和恩墨大讲堂

  点个“在看” 

你的喜欢会被看到❤