MySQL备份与恢复方案验证

mysqlbackup+xtrabackup

(RHEL6X86_64)

之前针对mysql的备份做了个简单测试，与大家分享下

         目前关于MySQL备份工具最流行的主要有三种

1.xtrabackup  -----Percona opensource

2.mysqlbackup -----mysql Enterprise

3.mysqldump -----mysql 自带工具

三种工具都支持热备；全备和增备。

对于自带的mysqldump备份速度比较慢，备份出来的为sql语句即DDL+insert,增备利用的是mysqlbinlog,必须要开启二进制日志;

对于xtrabackup它利用的是ib_logfile和.ibd文件

对于mysqlbackup来说它可以只利用ib_logfile文件也可以利用ib_logfile和.ibd文件，主要介绍mysqlbackup和xtrabackup两种工具，如下是它们之间的一些异同点:

Feature	Percona XtraBackup	MySQL Enterprise Backup (InnoDB Hot Backup)
License	GPL	Proprietary
Price	Free	Included in subscription at $5000 per Server
Open source
Streaming and encryption formats	Open source	Proprietary
Supported MySQL flavors	Percona Server, MySQL, MariaDB	MySQL
Non-blocking InnoDB backups 1
Blocking MyISAM backups
Incremental backups
Full compressed backups
Incremental compressed backups
Fast incremental backups 2
Incremental backups with archived logs
Backup locks 8		（虽然Percona写NO，但是从mysqlbackup的文档和Percona的对比，也应该是有的对于non-innodb read lock）
Encrypted backups
Streaming backups
Parallel local backups
Parallel streaming backups
Parallel compression
Parallel encryption
Parallel apply-log
Parallel copy-back
Partial backups
Throttling 4
Point-in-time recovery support
Safe slave backups
Compact backups 5
Buffer pool state backups
Individual tables export
Individual partitions export
Restoring tables to a different server 7
Data & index file statistics
InnoDB secondary indexes defragmentation
rsync support to minimize lock time
Improved FTWRL handling
Backup history table
Backup progress table
Offline backups
Tape backups with Oracle Secure Backup

 

2. 备份工具对比

功能	Mysqlbackup	xtrabackup	mysqldump
全备	已验证pass	已验证pass	已验证pass
增备	已验证pass	已验证pass	未验证
单（指定）表备份/导出	已验证pass	已验证pass	已验证pass
增量恢复	已验证pass	已验证pass	未验证
全量恢复	已验证pass	已验证pass	未验证
压缩	已验证pass	已验证pass	未验证
Tape backup	已验证pass	N/A	N/A
Aws cloude storage	未验证	N/A	N/A
Parallel backup	已验证pass	已验证pass	N/A

 

注：1.tts mysqlbackup 不支持分区表的导出

         2.mysqlbackup压缩也仅仅支持全备，不支持增量（除了image文件--及tape需要的格式）

         3.tapebackup mysqlbackup仅支持page-size=16k  不支持8K的page-size

3. mysqlbackup和xtrabackup备份性能对比

测试环境：10.45.53.6 mysql/mysql

存储V7000

对ccv80ch库进行备份,库占用大小：14735MB

默认不使用parallel options(mysqlbackup默认1:6:1)

 

全备	Cpu	Time cost	File size	iops	util
Mysqlbackup	3%	72s	6195MB	3800	≈100%
xtrabackup	2%	94	6184MB	680	≈100%

 

增备的前置条件为:update subs set update_date=now();
                                     update acct set update_date=now();

每个表存在100W数据

 

增备	Cpu	Time cost	File size	iops	util
Mysqlbackup	2%	43s	286MB	3600	≈100%
xtrabackup	2%	272s	386MB	500	≈16%

 

数据分析：

全备其中相差的部分为其他库的frm文件,mysqlbackup include会拷贝除指定库外其他库的frm文件；

增备其中相差部分是xtrabackup生成了.delta,.meta(每个frm都对应一个),而mysqlbackup,只生成了产生数据变更的sub和acct表的.idb文件

 

 

Parallel 备份	Cpu	Time cost	File size	iops	util
Mysqlbackup	12	73s	6493MB	3900	100
xtrabackup	28	51s	6482MB	1900	100

数据分析:

mysqlbackup和xtrabackup的并发机制并不一样导致了这种结果，

mysqlbackup的并发指的是读写线程的并发，即在io足够的情况下分配多个cpu线程;

xtrabackup的并发是file level级别的通常指的就是一次批量的copy ibd文件之类；

通过xtrabackup可以提升备份性能

4. mysqlbackup和xtrabackup恢复性能对比

这里的恢复主要指的是apply-log（因为通常情况下不会使用到最后一步copy-log，而copy-log的实质就是一个copy paste的过程只有在真正数据库坏了的时候才会使用到）

 

Apply-log	Cpu	Time cost	File size	iops	util
Mysqlbackup	3%	35s	14387MB	788	≈100%
xtrabackup	2%	31s	14387MB	783	≈100%

apply-log其中相差部分是

xtrabackuk生成的一些xtrabackup_binlog_info, xtrabackup_binlog_pos_innodb,

xtrabackup_checkpoints,xtrabackup_info文件

性能基本一致

5. 备份锁测试

lock/default	fullbackup	increment backup	single table exp/imp
mysqlbackup	none	none	yes（--use-tts=(table metadata lock)
xtrabackup	none	none	yes(default) use --no-lock can diable lock 参考 2.2.3文档page37 --no-lock（）
mysqldump	yes	None	yes(table-level)  但是可以禁用--single-transaction

 

经过验证（innodb）得出如上表格结论：

         全量备份中除了mysqldump存在锁，mysqlbackup和mysqlbackup都不存在锁;

         增量不存在锁(mysqldump是通过binlog，其他两个不是)

         对于tts即单表表的导入导出，经过测试发现mysqlbackup存在锁虽然是粒度很小的read lock，但是未发现有参数可以禁用，但是对于xtrabackup和mysqldump虽然默认有锁，但是可以disable掉。

6. 建议和讨论

         1.对于全量和增量备份使用mysqlbackup enterprise

         2.对于单表的导入导出，数据量小建议使用mysqldump，比较方便；数据量较大例如分区表之类建议使用xtrabackup，虽然比较麻烦但是对系统性能影响更小效率更高

         3.对于tape的支持oracle的SBT 是否存在这种需求，若则page-szie必须为16K

         4.对于aws cloud storage的功能是否存在需求

         5.对于增量的备份mysqlbackup默认2种方法一种是普通的不加参数的，另一种则是--incremental-redo-log-only

        这是几年前的文章，如有问题请与指正