如何利用 Myflash 解析 binlog ?

作者 | 李真旭：网名 Roger，Oracle ACE，拥有超过10年的 Oracle 运维管理使用经验；参与过众多移动、电信、联通、银行等大型数据库交付项目， 具有丰富的运维管理经验，对 Oracle 数据库管理运行机制、锁机制、优化机制等具有深入理解；擅长 Oracle 数据库的 performance tunning、troubleshooting 以及异常恢复；个人博客：http://www.killdb.com

新美大在 binlog2sql 的基础只是开源了一款新的小工具叫 Myflash；用于解析binlog 实现快速数据恢复，类似 Oracle 中的 Flashback 功能，不过目前仅支持MySQL 5.6、5.7版本（MariaDB 10 已经引入了 Flashback 功能)。在这里进行了简单测试，以后恢复 DML 误操作就更简单一些了。

1) 首先需要准备好 Myflash 测试环境

大家可以去这里下载源程序：https://github.com/Meituan-Dianping/MyFlash

这里的测试环境是 Redhat Linux 6.5，直接解压 myflash 无法运行，发现 glibc 版本不匹配，需要 2.14 版本。因此首先需要编译新版本的 glibc。

–下载 glibc 2.14

---下载lib包

# wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz 

# wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz 

# tar -xvf  glibc-2.14.tar.gz 

# tar -xvf  glibc-ports-2.14.tar.gz

# mv glibc-ports-2.14 glibc-2.14/ports

# mkdir glibc-build-2.14

# cd glibc-build-2.14/

–编译

# ../glibc-2.14/configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

# make

–拷贝 libc.so.6 到 /lib64

[root@killdb glibc-build-2.14]# cp libc.so.6 /lib64/libc-2.14.so

–删除原来的 libc

[root@killdb lib64]# rm -rf /lib64/libc.so.6

rm: error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory

[root@killdb lib64]# export LD_PRELOAD=/lib64/libc-2.14.so

[root@killdb lib64]# rm -rf /lib64/libc.so.6                  

[root@killdb lib64]# ln -s /lib64/libc-2.14.so /lib64/libc.so.6

–make install

# make install

–确认是否 OK

可以看到已经可以了，支持最新的 GLIBC_2.14 了。下面开始测试 myflash。

2) 如下是针对 Myflash 的简单测试过程

–创建测试表

mysql> CREATE TABLE `Test` (

    -> `ID` int(11) NOT NULL AUTO_INCREMENT,

    -> `NAME` varchar(50) NOT NULL,

    -> PRIMARY KEY (`ID`)

    -> ) AUTO_INCREMENT=1000

    -> ;

–创建测试存储过程模拟 10 万条测试数据

mysql> delimiter $$

mysql> create procedure pro_test()

    -> begin

    -> declare id int;

    -> set id = 100000;

    -> while id>0 do

    -> insert into Test(name) values ('www.killdb.com');  

    -> set id = id-1;                                                                                                                                              

    -> end while;

    -> end $$

Query OK, 0 rows affected (0.00 sec)

mysql>  delimiter ;

mysql>  call pro_test();

Query OK, 1 row affected (44.21 sec)

–模拟删除 5 万条数据

mysql> delete from Test limit 50000;

Query OK, 50001 rows affected (0.54 sec)

mysql> select count(1) from Test;

+----------+

| count(1) |

+----------+

|    50001 |

+----------+

1 row in set (0.01 sec)

mysql>

–利用 Myflash 解析 binlog

这里简单的修改了一个小脚本，实现了半自动化。

[root@killdb binary]# ./flashback.sh  

[root@killdb binary]# cat flashback.sh 

#!/bin/bash

file_path=/root/myflash/binary/

cd /root/myflash/binary

./flashback --databaseNames enmotech --tableNames Test --sqlTypes delete  --binlogFileNames=/opt/mysql/mysql-bin.000003 

./flashback --maxSplitSize=15 --binlogFileNames=binlog_output_base.flashback

arr=`find ${file_path} -name "binlog_output_base.0*"|sort -n`

for i in ${arr}

do

        mysqlbinlog ${i} | mysql -S /opt/mysql/mysql.sock

done

–验证数据

mysql> select count(1) from Test;

+----------+

| count(1) |

+----------+

|   100001 |

+----------+

1 row in set (0.02 sec)

可以看到数据很容易就恢复出来了，效率非常高。比 binsql2sql 要高很多。整个恢复过程大概 1~2 秒。不仅是 delete，实际对于 insert 和 update 的 DML 操作，都是支持的。

资源下载

关注公众号：数据和云（OraNews）回复关键字获取

‘2017DTC’，2017 DTC 大会 PPT

‘DBALIFE’，“DBA 的一天”海报

‘DBA04’，DBA 手记4 经典篇章电子书

‘RACV1’, RAC 系列课程视频及 PPT

‘122ARCH’，Oracle 12.2 体系结构图

‘2017OOW’，Oracle OpenWorld 资料

‘PRELECTION’，大讲堂讲师课程资料