mysql通过binlog进行增量备份

在备份mysql数据的时候,可能会遇到数据基数很大的情况,如果每天都备份整个全库,将会耗费很大的资源,这个时候就可以通过binlog进行增量备份,每天记录一个breakpoint,备份的时候从前一天breakpoint往后进行增量备份就可以了。还有一种情况也可以用到增量备份,那就是在线迁移数据的时候,在不停服务的情况下迁移全库数据就可以采用增量备份补充增量数据。

通过binlog进行增量备份时如果不需要过滤特定的database和table就可以直接通过mysql自带的master/slave机制来进行增量备份。如果需要过滤出特定的database或者table,那么就需要自己写代码过滤binlog。下面就来说说怎么进行binlog的过滤和增量备份。

1.使用%MYSQL_HOME%/bin/mysqlbinlog工具将binlog的二进制文件解析成文本,可以写到硬盘上或者放到管道里。

2.需要一个binlog的过滤程序对文本的binlog进行过滤,过滤的目的是找出特定的database和table的sql语句。

3.在过滤的时候不能按行进行grep,因为可能有一个sql语句在多个行,这时可以通过分隔符“;”来进行划分,这里要注意的是要先将注释去掉,因为注释中很有可能含有“;”(mysql的注释包括/*,#和--),还要注意字符串中的“;”也不能算进来(处理字符串的时候要注意双引号的转义)。

4.将sql逐条进行过滤,这里同样需要一些关于字符串的处理,这里要注意的是,use语句的上下文环境,这个将决定sql所对应的database,然后将sql的命令列成白名单进行表名位置的匹配,获取表名以后再进行过滤。

5.因为在备份binlog的同时又有新的binlog产生,这时就需要一个循环,不停地进行上述的4个步骤,直到剩下的binlog大小足够小,就可以停一小段时间mysql的写操作,将剩下的binlog完全同步过去。

你可能感兴趣的:(Database,mysql,database,sql,table,工具)