Mysql热备xtrabackup的使用

一、软件介绍

    InnoDB 有个商业的InnoDB Hotbackup，可以对InnoDB引擎的表实现在线热备。而 percona出品的Xtrabackup，是InnoDB Hotbackup的一个开源替代品，可以在线对InnoDB/XtraDB引擎的表进行物理备份。mysqldump支持在线备份，不过是逻辑备份，效率比较差。当数据量比较小的时候，mysqldump还可以胜任，当数据量大的时候，恢复时间却让人无法忍受，于是开源工具xtrabackup就应运而生了，xtrabackup属于物理备份，效率很不错。

xtrabackup提供了两种命令行工具

• xtrabackup：用于备份InnoDB引擎的数据（不会备份myisam比如mysql权限相关表等，也不会自动copy frm文件）；

• innobackupex：一个perl脚本，在执行过程中会调用xtrabackup命令，用该命令即可以备份InnoDB，也可以备份MyISAM/copy frm文件，只不过在备份myisam表时候会添加一个读锁。

二、安装

实验环境：CentOS release 6.5 (Final)，mysql  Ver 14.14 Distrib 5.6.14

xtrabackup安装:

# 下载软件包
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.2.13/binary/redhat/6/x86_64/percona-xtrabackup-22-2.2.13-1.el6.x86_64.rpm
# 本地安装
yum localinstall percona-xtrabackup-22-2.2.13-1.el6.x86_64.rpm
# 查看安装文件
# rpm -ql percona-xtrabackup-22-2.2.13-1.el6.x86_64

/usr/bin/innobackupex
/usr/bin/xbcrypt
/usr/bin/xbstream
/usr/bin/xtrabackup
/usr/share/doc/percona-xtrabackup-22-2.2.13
/usr/share/doc/percona-xtrabackup-22-2.2.13/COPYING
/usr/share/man/man1/innobackupex.1.gz
/usr/share/man/man1/xbcrypt.1.gz
/usr/share/man/man1/xbstream.1.gz
/usr/share/man/man1/xtrabackup.1.gz

部分参数说明：

  --user                   #指定执行备份的用户。
  --password               #指定执行备份用户的密码。
  --defaults-file          #指定mysql的选项文件路径。
  --no-timestamp           #不要显示时间戳。
  --incremental            #告诉xtrabackup这次是创建增量备份。  
  --incremental-basedir    #指定一个全量备份的路径作为增量备份的基础。
  --redo-only       #如果进行准备工作完成后，还有其他的增量备份集待处理，就需要指定这个参数。
  --apply-log       #从指定的选项文件中读取配置信息并应用日志等，这就意味对备份集做恢复的准备工作。
  --copy-back       #将指定备份集恢复到指定的路径下。

1、全备

   将全备的数据备份到/data/backup/base

# innobackupex --user=root --password=redhat --no-timestamp  /data/backup/base

   ......................
innobackupex: Backup created in directory '/data/backup/base'
innobackupex: MySQL binlog position: filename 'mysql-bin.000001', position 733
160201 15:26:07  innobackupex: Connection to database server closed
160201 15:26:07  innobackupex: completed OK!

    先对数据库进行一些修改。

mysql> create database sharelinux;
Query OK, 1 row affected (0.00 sec)
 
mysql> use sharelinux;
Database changed
mysql> create table t1(id int,name varchar(10));
Query OK, 0 rows affected (0.12 sec)
 
mysql> insert into t1 values(1,'zhangsan'),(2,'lisi'),(3,'wangwu');
Query OK, 3 rows affected (0.08 sec)
Records: 3  Duplicates: 0  Warnings: 0
 
mysql> select * from t1;
+------+----------+
| id   | name     |
+------+----------+
|    1 | zhangsan |
|    2 | lisi     |
|    3 | wangwu   |
+------+----------+
3 rows in set (0.00 sec)

2、第一次增量备份

    第一次增量备份目录/data/backup/incremental_one

# innobackupex --user=root --password=redhat --no-timestamp --incremental /data/backup/incremental_one --incremental-basedir=/data/backup/base/

    ......................................................
xtrabackup: Creating suspend file '/data/backup/incremental_one/xtrabackup_log_copied' with pid '19979'
xtrabackup: Transaction log of lsn (22333659) to (22333659) was copied.
160201 15:39:26  innobackupex: All tables unlocked
innobackupex: Backup created in directory '/data/backup/incremental_one'
innobackupex: MySQL binlog position: filename 'mysql-bin.000001', position 1238
160201 15:39:26  innobackupex: Connection to database server closed
160201 15:39:26  innobackupex: completed OK!

    再对数据库进行修改

mysql> create database db01;
Query OK, 1 row affected (0.00 sec)
 
mysql> use db01;
Database changed
mysql> create table t2(id int,name varchar(10));
Query OK, 0 rows affected (0.04 sec)
 
mysql> insert into t2 values(1,'zhangsan'),(2,'lisi'),(3,'wangwu');
Query OK, 3 rows affected (0.02 sec)
Records: 3  Duplicates: 0  Warnings: 0
 
mysql> select * from t2;
+------+----------+
| id   | name     |
+------+----------+
|    1 | zhangsan |
|    2 | lisi     |
|    3 | wangwu   |
+------+----------+
3 rows in set (0.00 sec)

3、第二次增量备份

    第二次增量备份目录/data/backup/incremental_two

# innobackupex --user=root --password=redhat --no-timestamp --incremental /data/backup/incremental_two --incremental-basedir=/data/backup/incremental_one/

   ........................................
innobackupex: Backup created in directory '/data/backup/incremental_two'
innobackupex: MySQL binlog position: filename 'mysql-bin.000001', position 1689
160201 15:59:10  innobackupex: Connection to database server closed
160201 15:59:10  innobackupex: completed OK!

    模拟故障，删除数据库的数据文件

# ls /usr/local/webserver/mysql5.6/data/
auto.cnf  ib_logfile0  mysql-bin.000001  node1.pid           test
db01      ib_logfile1  mysql-bin.index   performance_schema  zabbix
ibdata1   mysql        node1.err         sharelinux
# rm -rf /usr/local/webserver/mysql5.6/data/*

    恢复准备

# innobackupex --user=root --password=redhat --apply-log --redo-only /data/backup/base/

   ........................................
xtrabackup: starting shutdown with innodb_fast_shutdown = 1
InnoDB: Starting shutdown...
InnoDB: Shutdown completed; log sequence number 22327338
160201 16:09:44  innobackupex: completed OK!

# innobackupex --user=root --password=redhat --apply-log --redo-only /data/backup/base/ --incremental-dir=/data/backup/incremental_one/

  ...........................................
innobackupex: Copying '/data/backup/incremental_one/performance_schema/events_stages_history.frm' to '/data/backup/base/performance_schema/events_stages_history.frm'
innobackupex: Copying '/data/backup/incremental_one/performance_schema/setup_instruments.frm' to '/data/backup/base/performance_schema/setup_instruments.frm'
160201 16:13:15  innobackupex: completed OK!

# innobackupex --user=root --password=redhat --apply-log  /data/backup/base/ --incremental-dir=/data/backup/incremental_two/
innobackupex: Copying '/data/backup/incremental_two/performance_schema/setup_instruments.frm' to '/data/backup/base/performance_schema/setup_instruments.frm'
innobackupex: Copying '/data/backup/incremental_two/db01/db.opt' to '/data/backup/base/db01/db.opt'
innobackupex: Copying '/data/backup/incremental_two/db01/t2.frm' to '/data/backup/base/db01/t2.frm'
160201 16:18:27  innobackupex: completed OK!

    数据恢复

innobackupex --user=root --password=redhat --copy-back  /data/backup/base/

innobackupex: Starting to copy InnoDB system tablespace
innobackupex: in '/data/backup/base'
innobackupex: back to original InnoDB data directory '/usr/local/webserver/mysql5.6/data'
innobackupex: Copying '/data/backup/base/ibdata1' to '/usr/local/webserver/mysql5.6/data/ibdata1'
 
innobackupex: Starting to copy InnoDB undo tablespaces
innobackupex: in '/data/backup/base'
innobackupex: back to '/usr/local/webserver/mysql5.6/data'
 
innobackupex: Starting to copy InnoDB log files
innobackupex: in '/data/backup/base'
innobackupex: back to original InnoDB log directory '/usr/local/webserver/mysql5.6/data'
innobackupex: Finished copying back files.
 
160201 16:23:08  innobackupex: completed OK!

    查看目录

# ll /usr/local/webserver/mysql5.6/data/  #这个目录下的数据已经恢复回来
total 79916
drwxr-x---. 2 root root     4096 Feb  1 16:18 db01
-rw-r-----. 1 root root 79691776 Feb  1 16:18 ibdata1
drwx------. 2 root root     4096 Feb  1 15:26 mysql
drwxr-xr-x. 2 root root     4096 Feb  1 15:26 performance_schema
drwxr-x---. 2 root root     4096 Feb  1 16:13 sharelinux
drwxr-xr-x. 2 root root     4096 Feb  1 15:26 test
-rw-r--r--. 1 root root       22 Feb  1 16:18 xtrabackup_binlog_info
-rw-r-----. 1 root root       91 Feb  1 16:18 xtrabackup_checkpoints
-rw-r--r--. 1 root root      722 Feb  1 16:18 xtrabackup_info
-rw-r-----. 1 root root  2097152 Feb  1 16:09 xtrabackup_logfile
drwx------. 2 root root    12288 Feb  1 15:26 zabbix

 

chown mysql:mysql /usr/local/webserver/mysql5.6/data/ -R  #将目录更改为mysql用户
pkill mysql                                              #杀死原来的mysql进程，然后重启数据库
service mysqld start

Starting MySQL..                                           [  OK  ]

数据已经恢复回来了

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db01               |
| mysql              |
| performance_schema |
| sharelinux         |
| test               |
| zabbix             |
+--------------------+
7 rows in set (0.14 sec)
 
mysql> select * from sharelinux.t1;   #第一次增量备份的数据
+------+----------+
| id   | name     |
+------+----------+
|    1 | zhangsan |
|    2 | lisi     |
|    3 | wangwu   |
+------+----------+
3 rows in set (0.03 sec)
 
mysql> select * from db01.t2;          #第二次增量备份的数据
+------+----------+
| id   | name     |
+------+----------+
|    1 | zhangsan |
|    2 | lisi     |
|    3 | wangwu   |
+------+----------+
3 rows in set (0.08 sec)

三、以下摘自网络文章

使用Xtrabackup进行MySQL备份：

一、安装

1、简介

Xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。特点：

(1)备份过程快速、可靠；

(2)备份过程不会打断正在执行的事务；

(3)能够基于压缩等功能节约磁盘空间和流量；

(4)自动实现备份检验；

(5)还原速度快；

2、安装

其最新版的软件可从 http://www.percona.com/software/percona-xtrabackup/ 获得。本文基于RHEL5.8的系统，因此，直接下载相应版本的rpm包安装即可，这里不再演示其过程。

二、备份的实现

1、完全备份

# innobackupex --user=DBUSER --password=DBUSERPASS  /path/to/BACKUP-DIR/

如果要使用一个最小权限的用户进行备份，则可基于如下命令创建此类用户：

mysql> CREATE USER ’bkpuser’@’localhost’ IDENTIFIED BY ’s3cret’;

mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM ’bkpuser’;

mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO ’bkpuser’@’localhost’;

mysql> FLUSH PRIVILEGES;

使用innobakupex备份时，其会调用xtrabackup备份所有的InnoDB表，复制所有关于表结构定义的相关文件(.frm)、以及MyISAM、MERGE、CSV和ARCHIVE表的相关文件，同时还会备份触发器和数据库配置信息相关的文件。这些文件会被保存至一个以时间命令的目录中。

在备份的同时，innobackupex还会在备份目录中创建如下文件：

(1)xtrabackup_checkpoints —— 备份类型（如完全或增量）、备份状态（如是否已经为prepared状态）和LSN(日志序列号)范围信息；

每个InnoDB页(通常为16k大小)都会包含一个日志序列号，即LSN。LSN是整个数据库系统的系统版本号，每个页面相关的LSN能够表明此页面最近是如何发生改变的。

(2)xtrabackup_binlog_info —— mysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置。

(3)xtrabackup_binlog_pos_innodb —— 二进制日志文件及用于InnoDB或XtraDB表的二进制日志文件的当前position。

(4)xtrabackup_binary —— 备份中用到的xtrabackup的可执行文件；

(5)backup-my.cnf —— 备份命令用到的配置选项信息；

在使用innobackupex进行备份时，还可以使用--no-timestamp选项来阻止命令自动创建一个以时间命名的目录；如此一来，innobackupex命令将会创建一个BACKUP-DIR目录来存储备份数据。

2、准备(prepare)一个完全备份

一般情况下，在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处理不一致状态。“准备”的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。

innobakupex命令的--apply-log选项可用于实现上述功能。如下面的命令：

# innobackupex --apply-log  /path/to/BACKUP-DIR

如果执行正确，其最后输出的几行信息通常如下：

xtrabackup: starting shutdown with innodb_fast_shutdown = 1

120407  9:01:36  InnoDB: Starting shutdown...

120407  9:01:40  InnoDB: Shutdown completed; log sequence number 92036620

120407 09:01:40  innobackupex: completed OK!

在实现“准备”的过程中，innobackupex通常还可以使用--use-memory选项来指定其可以使用的内存的大小，默认通常为100M。如果有足够的内存可用，可以多划分一些内存给prepare的过程，以提高其完成速度。

3、从一个完全备份中恢复数据 

注意：恢复不用启动MySQL

innobackupex命令的--copy-back选项用于执行恢复操作，其通过复制所有数据相关的文件至mysql服务器DATADIR目录中来执行恢复过程。innobackupex通过backup-my.cnf来获取DATADIR目录的相关信息。

# innobackupex --copy-back  /path/to/BACKUP-DIR

如果执行正确，其输出信息的最后几行通常如下：

innobackupex: Starting to copy InnoDB log files

innobackupex: in '/backup/2012-04-07_08-17-03'

innobackupex: back to original InnoDB log directory '/mydata/data'

innobackupex: Finished copying back files.

120407 09:36:10  innobackupex: completed OK!

请确保如上信息的最行一行出现“innobackupex: completed OK!”。

当数据恢复至DATADIR目录以后，还需要确保所有数据文件的属主和属组均为正确的用户，如mysql，否则，在启动mysqld之前还需要事先修改数据文件的属主和属组。如：

# chown -R  mysql:mysql  /mydata/data/

4、使用innobackupex进行增量备份

每个InnoDB的页面都会包含一个LSN信息，每当相关的数据发生改变，相关的页面的LSN就会自动增长。这正是InnoDB表可以进行增量备份的基础，即innobackupex通过备份上次完全备份之后发生改变的页面来实现。

要实现第一次增量备份，可以使用下面的命令进行：

# innobackupex --incremental /backup --incremental-basedir=BASEDIR

其中，BASEDIR指的是完全备份所在的目录，此命令执行结束后，innobackupex命令会在/backup目录中创建一个新的以时间命名的目录以存放所有的增量备份数据。另外，在执行过增量备份之后再一次进行增量备份时，其--incremental-basedir应该指向上一次的增量备份所在的目录。

需要注意的是，增量备份仅能应用于InnoDB或XtraDB表，对于MyISAM表而言，执行增量备份时其实进行的是完全备份。

“准备”(prepare)增量备份与整理完全备份有着一些不同，尤其要注意的是：

(1)需要在每个备份(包括完全和各个增量备份)上，将已经提交的事务进行“重放”。“重放”之后，所有的备份数据将合并到完全备份上。

(2)基于所有的备份将未提交的事务进行“回滚”。

于是，操作就变成了：

# innobackupex --apply-log --redo-only BASE-DIR

接着执行：

# innobackupex --apply-log --redo-only BASE-DIR --incremental-dir=INCREMENTAL-DIR-1

而后是第二个增量：

# innobackupex --apply-log --redo-only BASE-DIR --incremental-dir=INCREMENTAL-DIR-2

其中BASE-DIR指的是完全备份所在的目录，而INCREMENTAL-DIR-1指的是第一次增量备份的目录，INCREMENTAL-DIR-2指的是第二次增量备份的目录，其它依次类推，即如果有多次增量备份，每一次都要执行如上操作；

5、Xtrabackup的“流”及“备份压缩”功能

Xtrabackup对备份的数据文件支持“流”功能，即可以将备份的数据通过STDOUT传输给tar程序进行归档，而不是默认的直接保存至某备份目录中。要使用此功能，仅需要使用--stream选项即可。如：

# innobackupex --stream=tar  /backup | gzip > /backup/`date +%F_%H-%M-%S`.tar.gz

甚至也可以使用类似如下命令将数据备份至其它服务器：

# innobackupex --stream=tar  /backup | ssh [email protected]  "cat -  > /backups/`date +%F_%H-%M-%S`.tar" 

此外，在执行本地备份时，还可以使用--parallel选项对多个文件进行并行复制。此选项用于指定在复制时启动的线程数目。当然，在实际进行备份时要利用此功能的便利性，也需要启用innodb_file_per_table选项或共享的表空间通过innodb_data_file_path选项存储在多个ibdata文件中。对某一数据库的多个文件的复制无法利用到此功能。其简单使用方法如下：

# innobackupex --parallel  /path/to/backup

同时，innobackupex备份的数据文件也可以存储至远程主机，这可以使用--remote-host选项来实现：

# innobackupex [email protected]  /path/IN/REMOTE/HOST/to/backup

 

6、导入或导出单张表

默认情况下，InnoDB表不能通过直接复制表文件的方式在mysql服务器之间进行移植，即便使用了innodb_file_per_table选项。而使用Xtrabackup工具可以实现此种功能，不过，此时需要“导出”表的mysql服务器启用了innodb_file_per_table选项（严格来说，是要“导出”的表在其创建之前，mysql服务器就启用了innodb_file_per_table选项），并且“导入”表的服务器同时启用了innodb_file_per_table和innodb_expand_import选项。

(1)“导出”表

导出表是在备份的prepare阶段进行的，因此，一旦完全备份完成，就可以在prepare过程中通过--export选项将某表导出了：

# innobackupex --apply-log --export /path/to/backup

此命令会为每个innodb表的表空间创建一个以.exp结尾的文件，这些以.exp结尾的文件则可以用于导入至其它服务器。

(2)“导入”表

要在mysql服务器上导入来自于其它服务器的某innodb表，需要先在当前服务器上创建一个跟原表表结构一致的表，而后才能实现将表导入：

mysql> CREATE TABLE mytable (...)  ENGINE=InnoDB;

然后将此表的表空间删除：

mysql> ALTER TABLE mydatabase.mytable  DISCARD TABLESPACE;

接下来，将来自于“导出”表的服务器的mytable表的mytable.ibd和mytable.exp文件复制到当前服务器的数据目录，然后使用如下命令将其“导入”：

mysql> ALTER TABLE mydatabase.mytable  IMPORT TABLESPACE;

7、使用Xtrabackup对数据库进行部分备份

Xtrabackup也可以实现部分备份，即只备份某个或某些指定的数据库或某数据库中的某个或某些表。但要使用此功能，必须启用innodb_file_per_table选项，即每张表保存为一个独立的文件。同时，其也不支持--stream选项，即不支持将数据通过管道传输给其它程序进行处理。

此外，还原部分备份跟还原全部数据的备份也有所不同，即你不能通过简单地将prepared的部分备份使用--copy-back选项直接复制回数据目录，而是要通过导入表的方向来实现还原。当然，有些情况下，部分备份也可以直接通过--copy-back进行还原，但这种方式还原而来的数据多数会产生数据不一致的问题，因此，无论如何不推荐使用这种方式。

(1)创建部分备份

创建部分备份的方式有三种：正则表达式(--include), 枚举表文件(--tables-file)和列出要备份的数据库(--databases)。

(a)使用--include

使用--include时，要求为其指定要备份的表的完整名称，即形如databasename.tablename，如：

# innobackupex --include='^mageedu[.]tb1'  /path/to/backup

(b)使用--tables-file

此选项的参数需要是一个文件名，此文件中每行包含一个要备份的表的完整名称；如：

# echo -e 'mageedu.tb1\nmageedu.tb2' > /tmp/tables.txt

# innobackupex --tables-file=/tmp/tables.txt  /path/to/backup

(c)使用--databases

此选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；同时，在指定某数据库时，也可以只指定其中的某张表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。如：

# innobackupex --databases="mageedu testdb"  /path/to/backup

(2)整理(preparing)部分备份

prepare部分备份的过程类似于导出表的过程，要使用--export选项进行：

# innobackupex --apply-log --export  /pat/to/partial/backup

此命令执行过程中，innobackupex会调用xtrabackup命令从数据字典中移除缺失的表，因此，会显示出许多关于“表不存在”类的警告信息。同时，也会显示出为备份文件中存在的表创建.exp文件的相关信息。

(3)还原部分备份

还原部分备份的过程跟导入表的过程相同。当然，也可以通过直接复制prepared状态的备份直接至数据目录中实现还原，不要此时要求数据目录处于一致状态。