使用xtrabackup对MySQL进行备份和恢复

 

Xtrabackup 是percona公司的开源项目，用以实现类似innodb官方的热备份工具InnoDB Hot Backup的功能，能够非常快速地备份与恢复mysql数据库。 Xtrabackup中包含两个工具：

xtrabackup是用于热备份innodb, xtradb表中数据的工具，不能备份其他类型的表，也不能备份数据表结构；

innobackupex是将xtrabackup进行封装的perl脚本，提供了备份myisam表的能力。

由于innobackupex的功能更为全面和完善，所以，本文以innobackupex作为基础进行研究描述。

下载和安装

在以下地址可以下载到xtrabackup：http://www.percona.com/downloads/XtraBackup/，可以根据自己的需要选择稳定版本或者最新版本以及操作系统、源码包或者rpm包等等。

我下载到的是xtrabackup-1.6.tar，是一个二进制压缩包，解压后可直接使用。

将下载到的文件包进行解压 tar zxvf xtrabackup-1.6.tar，然后在/usr/bin中建立相关应用的链接：

ln -s /usr/bin/innobackupex /root/xtrabackup-1.6/bin/innobackupex

ln -s /usr/bin/xtrabackup /root/xtrabackup-1.6/bin/xtrabackup

ln -s /usr/bin/xtrabackup_51 /root/xtrabackup-1.6/bin/xtrabackup_51

ln -s /usr/bin/tar4ibd /root/xtrabackup-1.6/bin/tar4ibd

其中，

innobackupex是我们要使用的备份工具；

xtrabackup是被封装在innobackupex之中的，innobackupex运行时需要调用它；

xtrabackup_51是xtrabackup运行时需要调用的工具；

tar4ibd是以tar流的形式产生备份时用来打包的工具。

进行备份

完整备份：

innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --database=test /mysqlbackup/

其中，--user指定连接数据库的用户名，--password指定连接数据库的密码，--defaults-file指定数据库的配置文件，innobackupex要从其中获取datadir等信息；--database指定要备份的数据库，这里指定的数据库只对MyISAM表和InnoDB表的表结构有效，对于InnoDB 数据来说都是全备（所有数据库中的InnoDB数据都进行了备份，不是只备份指定的数据库，恢复时也一样）；/mysqlbackup是备份文件的存放位置。

完整备份并打包：

innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --database=test --stream=tar /mysqlbackup > /mysqlbackup/dbbackup20110809.tar

其中，--stream指定流的格式，目前只支持tar。

完整备份并打包压缩：

innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --database=test --stream=tar /mysqlbackup/ | gzip /mysqlbackup/dbbackup20110809.tar.gz

完整备份到远程主机： 

innobackupex --user=root --password= MySQLPASSWORD --defaults-file=/etc/my.cnf --database=test --stream=tar /mysqlbackup | ssh root@remote-host cat ">"   /mysqlbackup/dbbackup20110809.tar

增量备份：

innobackupex --user=root --password=MySQLPASSWORD --database=test --incremental --incremental-basedir=/mysqlbackup/2011-08-09_14-50-20/ /mysqlbackup/trn/

其中，--incremental指明是增量备份，--incremental-basedir指定上次完整备份或者增量备份文件的位置。这里的增量备份其实只针对的是InnoDB，对于MyISAM来说，还是完整备份。

进行恢复

完整备份恢复：

在进行恢复前，如果完整备份在远程主机上，首先将完整备份复制到本地主机上，如果是tar包，则需要先解包，解包命令为：tar –izxvf dbbackup20110809.tar，这里必须使用-i参数。然后停止mysql数据库并删除欲恢复的数据库文件夹，如：

service mysql stop

rm /var/lib/mysql/test –rf

然后将备份文件中的日志应用到备份文件中的数据文件上

innobackupex --user=root --password=MySQLPASSWORD --apply-log /mysqlbackup/full/2011-08-09_14-50-20/

这里的--apply-log指明是将日志应用到数据文件上，完成之后将备份文件中的数据恢复到数据库中：

innobackupex --user=root --password=MySQLPASSWORD --copy-back /mysqlbackup/full/2011-08-09_14-50-20/

这里的—copy-back指明是进行数据恢复。数据恢复完成之后，需要修改相关文件的权限mysql数据库才能正常启动。

chown mysql:mysql /var/lib/mysql/ib*

chown mysql:mysql /var/lib/mysql/test

service mysql start

注意：这里我虽然指定的是test数据库，但实际上如果其他数据库中也有InnoDB表，那么这些InnoDB表中的数据也会被恢复了。

增量备份恢复：

增量备份恢复的步骤和完整备份恢复的步骤基本一致，只是应用日志的过程稍有不同。增量备份恢复时，是先将所有的增量备份挨个应用到完整备份的数据文件中，然后再将完整备份中的数据恢复到数据库中。命令如下：

应用第一个增量备份

innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --apply-log /mysqlbackup/full/2011-08-09_14-50-20/ --incremental-dir=/mysqlbackup/trn/2011-08-09_15-12-43/

应用第二个增量备份

innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --apply-log /mysqlbackup/full/2011-08-09_14-50-20/ --incremental-dir=/mysqlbackup/trn/2011-08-05_15-15-47/

将完整备份中的数据恢复到数据库中

innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --copy-back /mysqlbackup/full/2011-08-05_14-50-20/

其中，--incremental-dir指定要恢复的增量备份的位置

相关原理

完整备份的原理：

对于InnoDB，XtraBackup基于InnoDB的crash-recovery功能进行备份。

crash-recovery是这样的：InnoDB维护了一个redo log，又称为 transaction log，也叫事务日志，它包含了InnoDB数据的所有改动情况。InnoDB启动的时候先去检查datafile和transaction log，然后应用所有已提交的事务并回滚所有未提交的事务。

XtraBackup在备份的时候并不锁定表，而是一页一页地复制InnoDB的数据，与此同时，XtraBackup还有另外一个线程监视着transactions log，一旦log发生变化，就把变化过的log pages复制走(因为transactions log文件大小有限，写满之后，就会从头再开始写，新数据可能会覆盖到旧的数据，所以一旦变化就要立刻复制走）。在全部数据文件复制完成之后，停止复制logfile。

XtraBackup采用了其内置的InnoDB库以read-write模式打开InnoDB的数据文件，然后每次读写1MB(1MB/16KB=64page)的数据，一页一页地遍历，同时用InnoDB的buf_page_is_corrupted()函数检查此页的数据是否正常，如果正常则进行复制，如不正常则重新读取，最多重读10次，如果还是失败，则备份失败退出。复制transactions log的原理也是一样的，只不过每次读写512KB(512KB/16KB=32page)的数据。

由于XtraBackup其内置的InnoDB库打开文件的时候是rw的，所以运行XtraBackup的用户，必须对InnoDB的数据文件具有读写权限。

由于XtraBackup要从文件系统中复制大量的数据，所以它尽可能地使用posix_fadvise()，来告诉OS不要缓存读取到的数据(因为这些数据不会重用到了)，从而提升性能。如果要缓存的话，大量的数据会对OS的虚拟内存造成很大的压力，其它进程（如mysqld）很有可能会被swap出去，这样就出问题了。同时，XtraBackup在读取数据的时候还尽可能地预读。

由于不锁表，所以复制出来的数据是不一致的，数据的一致性是在恢复的时候使用crash-recovery进行实现的。

对于MyISAM,XtraBackup还是首先锁定所有的表，然后复制所有文件。

增量备份的原理：

在完整备份和增量备份文件中都有一个文件xtrabackup_checkpoints会记录备份完成时检查点的LSN。在进行新的增量备份时，XtraBackup会比较表空间中每页的LSN是否大于上次备份完成的LSN，如果是，则备份该页，并记录当前检查点的LSN。

其他

目前XtraBackup的最新版本是1.6.2，但是我下载了1.6.2的rpm包xtrabackup-1.6.2-274.rhel5.i386，在CentOS5.5上安装后，发现在恢复时有点问题。

不指定数据库的配置文件时(数据库的配置文件为默认的/etc/my.cnf)，执行命令

innobackupex --copy-back /mysqlbackup/full/2011-08-09_14-09-43/

会报错：

InnoDB Backup Utility v1.5.1-xtrabackup; Copyright 2003, 2009 Innobase Oy

and Percona Inc 2009-2011.  All Rights Reserved.

 

This software is published under

the GNU GENERAL PUBLIC LICENSE Version 2, June 1991.

 

IMPORTANT: Please check that the copy-back run completes successfully.

           At the end of a successful copy-back run innobackupex

           prints "completed OK!".

 

Can't exec "autodetect": No such file or directory at /usr/bin/innobackupex line 1972.

innobackupex: fatal error: no 'mysqld' group in MySQL options

innobackupex: fatal error: OR no 'datadir' option in group 'mysqld' in MySQL options

指定数据库的配置文件时，执行命令

innobackupex --defaults-file=/etc/my.cnf --copy-back /mysqlbackup/full/2011-08-09_14-09-43/

会报错：

InnoDB Backup Utility v1.5.1-xtrabackup; Copyright 2003, 2009 Innobase Oy

and Percona Inc 2009-2011.  All Rights Reserved.

 

This software is published under

the GNU GENERAL PUBLIC LICENSE Version 2, June 1991.

 

IMPORTANT: Please check that the copy-back run completes successfully.

           At the end of a successful copy-back run innobackupex

           prints "completed OK!".

 

sh: autodetect: command not found

innobackupex: fatal error: no 'mysqld' group in MySQL options

innobackupex: fatal error: OR no 'datadir' option in group 'mysqld' in MySQL options

这个问题，我分别在百度和GOOGLE上搜索了下，各有一个人提出了这个问题，但是没有解答。也有人将这个问题提交给了percona，怀疑这是1.6.2的bug，不知道其他人有没有遇到过！