美团mysql 闪回_MyFlash--美团点评的开源MySQL闪回工具

Tech Neo技巧沙龙 | 11月25号,九州云/ZStack与您一路商量云时代收集界线治理实践

因为运维、DBA的误操作或是营业bug,我们在操作中时不时会出现误删除数据情况。早期要想恢复数据,只能让营业人员根据线上操作日记,构造误删除的数据,或者DBA应用binlog和备份的方法恢复数据,不管那种,都异常费时辛苦,并且轻易掉足。直到彭立勋初次在MySQL社区为mysqlbinlog扩大了闪回功能。

② decimal类型

在美团点评,我们也碰到过研发人员误删主站的设备信息,大年夜而导致主站长达2个小时弗采取的情况。DBA同窗当时应用了技巧团队自研的binlog2sql完成了数据恢复,并多次抢救了线上误删数据导致的严重故障。不过,binlog2sql在恢复速度上不尽如人意,是以我们开辟了一个新的对象——MyFlash,它很好地解决了上述痛点,可以或许便利并且高效地进行数据恢复。

如今该对象正式开源,开源地址为:https://github.com/Meituan-Dianping/MyFlash 。

闪回对象近况

先来看下今朝市情上已有的恢复对象,我们大年夜实现角度把它们划分成如下几类。

mysqlbinlog对象合营sed、awk。该方法先将binlog解析成类SQL的文本,然后应用sed、awk把类SQL文本转换成真正的SQL。长处:当SQL中字段类型比较简单时,可以快速生成须要的SQL,且编程门槛也比较低。

缺点:当SQL中字段类型比较复杂时,尤其是字段中的文本包含HTML代码,用awk、sed等对象时,就须要推敲极其复杂的转义等情况,掉足概率很大年夜。

给数据库源码打patch。该方法扩大了mysqlbinlog的功能,增长Flashback选项。长处:复竽暌姑了MySQL Server层中binlog解析等代码,一旦稳定之后,无须关怀复杂的字段类型,且效力较高。

缺点:在修改前,须要对MySQL的复制代码构造和细节须要较深的懂得。版本比脚绫囚感,在MySQL 5.6上做的patch,根本不克不及用于MySQL 5.7的回滚操作。进级艰苦,因为patch的代码是分布在MySQL的各个文件和函数中,一旦MySQL代码改变,特别是复制层的重构,进级的难度不亚于完全从新写一个。

应用业界供给的解析binlog的看维然落后行SQL构造,其优良代表是binlog2sql。长处:应用业界成熟的看维是以稳定性较好,且上手难度较低。

缺点:效力往往较低,且实现上受制于binlog库供给的功能。

上述几种实现方法,主如果供给的过滤选项较少,比如不克不及供给基于SQL类型的过滤,须要回滚一个delete语句,导致在回滚时,须要结合awk、sed等对象进行筛选。

总结了上述几种对象的优缺点,我认为幻想的闪回对象须要有以下特点。

b. 供给原生的基于库、表、SQL类型、地位、时光等多种过滤方法。

d. 对于数据库的代码重构不敏感,利于进级。

e. 自立掌控binlog解析,供给尽可能灵活的方法。

在这些特点中,binlog的解析是一切工作的基本。接下来我会介绍binlog的根本构造。

binlog格局概览

一个完全的binlog文件是由一个format description event开首,一个rotate event结尾,中心由多个其他event组合而成。

美团mysql 闪回_MyFlash--美团点评的开源MySQL闪回工具_第1张图片

美团mysql 闪回_MyFlash--美团点评的开源MySQL闪回工具_第2张图片

每个event都是由event header 和event data构成。下面简单介绍下几种常见的binlog event。

① formart description event

美团mysql 闪回_MyFlash--美团点评的开源MySQL闪回工具_第3张图片

表达的含义是:

binlog文件实例:

170905  01:59:33 server id 10  end_log_pos 123 CRC32 0xed1ec563

Start: binlog v 4, server v 5.7.18-log created 170905  01:59:33

② table map event

美团mysql 闪回_MyFlash--美团点评的开源MySQL闪回工具_第4张图片

表达的含义是:

170905  01:59:33 server id 10  end_log_pos 339 CRC32 0x3de40c0d

当然在反转前,也可以增长过滤操作。比如过滤库名、表名和SQL类械寥。

Table_map: `test`.`test4` mapped to number 238

③ update row event

美团mysql 闪回_MyFlash--美团点评的开源MySQL闪回工具_第5张图片

表达的含义是:

美团mysql 闪回_MyFlash--美团点评的开源MySQL闪回工具_第6张图片

Update_rows: table id 238 flags: STMT_END_F

UPDATE `test`.`test4` WHERE @1=3 SET @1=13;

binlog event回滚

根据膳绫擎的binlog介绍,可以看到每个binlog event中event header有个type_code,个中insert为30,update为31,delete为32。对于insert和delete两个相反的操作,只需把type_code交换,则在binlog event级别完成回滚。

推荐阅读

Tech Neo技巧沙龙 | 11月25号,九州云/ZStack与您一路商量云时代收集界线治理实践

会议地点:北京永泰福朋喜来登【51CTO.com原创稿件】九大年夜主题论坛 规格最高的云枷⒚鹦业嘉会由中国电>>>详细阅读

地址:http://www.17bianji.com/lsqh/39027.html

你可能感兴趣的:(美团mysql,闪回)