一、Xtrabackup概述
1、Xtrabackup简介
Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。
官网:https://www.percona.com/
InnoDB存储引擎支持热备,完全备份、增量备份
MyISAM温备,完全备份,不支持增量备份,
物理备份,速度快
特点:
1)备份过程快速、可靠;
2)备份过程不会打断正在执行的事务;
3)能够基于压缩等功能节约磁盘空间和流量;
4)自动实现备份检验;
5)还原速度快;
2、Xtrabackup备份原理
物理备份,不锁表,那么怎么保证现有的数据(备份过程中有尚未提交或已经提交但未同步事务)与复制出来的数据一致呢?
我们知道MySQL修改操作都会先记录在ib_logfile日志文件,再同步到磁盘,这个文件并重复使用。在复制期间会开启一个线程用来监控ib_logfile日志文件,如果有修改就从上次记录的日志序列号(checkpoins)开始复制新增内容到Logfile文件。复制结束后,把logfile事务日志进行回滚,把未完成的事务同步到ibdata1和ibd里面,来保证数据一致性。这与Mysql崩溃后恢复基本操作一样。
3、安装
官网上提供各版本各安装方式的包(rpm格式,源码,通用二进制),这里使用最简便的rpm包安装
[root@Node5 ~]# yum install [root@Node5 ~]# yum list|grep xtrabackup holland-xtrabackup.noarch 1.0.14-3.el6 epel percona-xtrabackup.x86_64 2.3.7-2.el6 percona-release-x86_64 percona-xtrabackup-20.x86_64 2.0.8-587.rhel6 percona-release-x86_64 percona-xtrabackup-20-debuginfo.x86_64 2.0.8-587.rhel6 percona-release-x86_64 percona-xtrabackup-20-test.x86_64 2.0.8-587.rhel6 percona-release-x86_64 percona-xtrabackup-21.x86_64 2.1.9-746.rhel6 percona-release-x86_64 percona-xtrabackup-21-debuginfo.x86_64 2.1.9-746.rhel6 percona-release-x86_64 percona-xtrabackup-22.x86_64 2.2.13-1.el6 percona-release-x86_64 percona-xtrabackup-22-debuginfo.x86_64 2.2.13-1.el6 percona-release-x86_64 percona-xtrabackup-24.x86_64 2.4.6-2.el6 percona-release-x86_64 percona-xtrabackup-24-debuginfo.x86_64 2.4.6-2.el6 percona-release-x86_64 percona-xtrabackup-debuginfo.x86_64 2.3.7-2.el6 percona-release-x86_64 percona-xtrabackup-test.x86_64 2.3.7-2.el6 percona-release-x86_64 percona-xtrabackup-test-21.x86_64 2.1.9-746.rhel6 percona-release-x86_64 percona-xtrabackup-test-22.x86_64 2.2.13-1.el6 percona-release-x86_64 percona-xtrabackup-test-24.x86_64 2.4.6-2.el6 percona-release-x86_64 [root@Node5 ~]# yum install percona-xtrabackup # 下载速度可能很慢,可以直接在官网上下载rpm包 [root@Node5 ~]# ls percona-xtrabackup-24-2.4.6-2.el6.x86_64.rpm percona-xtrabackup-24-2.4.6-2.el6.x86_64.rpm [root@Node5 ~]# yum install percona-xtrabackup-24-2.4.6-2.el6.x86_64.rpm [root@Node5 ~]# rpm -ql percona-xtrabackup-24 /usr/bin/innobackupex # 是xtrabackup的软链接文件 /usr/bin/xbcloud /usr/bin/xbcloud_osenv /usr/bin/xbcrypt /usr/bin/xbstream /usr/bin/xtrabackup /usr/share/doc/percona-xtrabackup-24-2.4.6 /usr/share/doc/percona-xtrabackup-24-2.4.6/COPYING /usr/share/man/man1/innobackupex.1.gz /usr/share/man/man1/xbcrypt.1.gz /usr/share/man/man1/xbstream.1.gz /usr/share/man/man1/xtrabackup.1.gz [root@Node5 ~]# ls -l /usr/bin/innobackupex lrwxrwxrwx 1 root root 10 Mar 22 15:04 /usr/bin/innobackupex -> xtrabackup
innobackupex: 是mysqld客户端工具, 以mysql协议连入mysqld,不支持离线备份(不支持备份远程主机)
常用参数
--user= #指定数据库备份用户
--password= #指定数据库备份用户密码
--port= #指定数据库端口
--socket= #指定socket文件路径
--databases= #备份指定数据库,多个空格隔开,如--databases="dbname1 dbname2",不加备份所有库
--defaults-file= #指定my.cnf配置文件
--apply-log #日志回滚
--use-memory # 日志回滚所使用的内存空间
--incremental= #增量备份,后跟增量备份路径
--incremental-basedir= #增量备份,指定上次增量备份路径
--redo-only #合并全备和增量备份数据文件,(仅提交不回滚)
--copy-back #将备份数据复制到数据库,数据库目录要为空
--no-timestamp #生成备份文件不以时间戳为目录名
--stream= #指定流的格式做备份,--stream=tar,将备份文件归档
--remote-host=user@ip DST_DIR #备份到远程主机
二、Xtrabackup备份的实现
1、完全备份
# innobackupex --user=DBUSER --password=DBUSERPASS /path/to/BACKUP-DIR/
如果要使用一个最小权限的用户进行备份,则可基于如下命令创建此类用户:
mysql> CREATE USER 'bkpuser’@’localhost’ IDENTIFIED BY 'secret’;
mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM ’bkpuser’;
mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO ’bkpuser’@’localhost’;
mysql> FLUSH PRIVILEGES;
使用innobackupex备份时,其会调用xtrabackup备份所有的InnoDB表,复制所有关于表结构定义的相关文件(.frm)、以及MyISAM、MERGE、CSV和ARCHIVE表的相关文件,同时还会备份触发器和数据库配置信息相关的文件。这些文件会被保存至一个以时间命名的目录中。但不会备份二进制日志文件
实例:
[root@Node5 ~]# innobackupex --user=root --password=123 /tmp/backup [root@Node5 ~]# cd /tmp/backup/ [root@Node5 backup]# ls 2017-03-22_15-22-58 [root@Node5 backup]# cd 2017-03-22_15-22-58/ [root@Node5 2017-03-22_15-22-58]# ls backup-my.cnf mydb performance_schema xtrabackup_binlog_info xtrabackup_info ibdata1 mysql testdb xtrabackup_checkpoints xtrabackup_logfile
在备份的同时,innobackupex还会在备份目录中创建如下文件:
xtrabackup_checkpoints
备份类型(如完全或增量)、备份状态(如是否已经为prepared状态)和LSN(日志序列号)范围信息;每个InnoDB页(通常为16k大小)都会包含一个日志序列号,即LSN。LSN是整个数据库系统的系统版本号,每个页面相关的LSN能够表明此页面最近是如何发生改变的。
日志序列号
是相对于innodb表而言的,innodb表空间内部通过使用类似于数据块的方式,组织数据存数,每个数据块都有一个日志序列号,日志序列号标记了这个数据块最近被改变的时间;是实现增量备份的重要凭据
[root@Node5 2017-03-22_15-22-58]# vim xtrabackup_checkpoints backup_type = full-backuped from_lsn = 0 to_lsn = 1622135 last_lsn = 1622135 compact = 0 # 没有压缩 recover_binlog_info = 0
xtrabackup_binlog_info
mysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置。
xtrabackup_binlog_pos_innodb
二进制日志文件及用于InnoDB或XtraDB表的二进制日志文件的当前position(也被废弃了)
xtrabackup_binary
备份中用到的xtrabackup的可执行文件(已经废弃了);
backup-my.cnf
备份命令用到的配置选项信息;
[root@Node5 2017-03-22_15-22-58]# vim backup-my.cnf # This MySQL options file was generated by innobackupex. # The MySQL server [mysqld] innodb_checksum_algorithm=innodb innodb_log_checksum_algorithm=innodb innodb_data_file_path=ibdata1:12M:autoextend innodb_log_files_in_group=2 innodb_log_file_size=50331648 innodb_fast_checksum=false innodb_page_size=16384 innodb_log_block_size=512 innodb_undo_directory=. innodb_undo_tablespaces=0 server_id=1 redo_log_version=0
在使用innobackupex进行备份时,还可以使用--no-timestamp选项来阻止命令自动创建一个以时间命名的目录;如此一来,innobackupex命令将会创建一个BACKUP-DIR目录来存储备份数据。
2、数据恢复
1)准备(prepare)一个完全备份
一般情况下,在备份完成后,备份得到的数据尚且不能用于恢复操作,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此,此时数据文件仍处理不一致状态。(数据此时处于开放状态,可以合并增量备份的数据)
“准备”的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。
innobakupex 命令的--apply-log选项可用于实现上述功能。如下面的命令:
# innobackupex --apply-log /path/to/BACKUP-DIR
如果执行正确,其最后输出的几行信息通常如下:
xtrabackup: starting shutdown with innodb_fast_shutdown = 1
InnoDB: FTS optimize thread exiting.
InnoDB: Starting shutdown...
InnoDB: Shutdown completed; log sequence number 1622568
170322 16:22:05 completed OK!
在实现“准备”的过程中,innobackupex通常还可以使用--use-memory选项来指定其可以使用的内存的大小,默认通常为100M。如果有足够的内存可用,可以多划分一些内存给prepare的过程,以提高其完成速度。
2)从一个完全备份中恢复数据
注意:恢复可以不用启动MySQL,/etc/my.cnf必须明确指定了数据目录的路径
innobackupex命令的--copy-back选项用于执行恢复操作,其通过复制所有数据相关的文件至mysql服务器DATADIR目录中来执行恢复过程。innobackupex通过backup-my.cnf来获取DATADIR目录的相关信息。
# innobackupex --copy-back /path/to/BACKUP-DIR # 自动恢复回原目录
如果执行正确,其输出信息的最后几行通常如下:
170322 16:40:47 completed OK!
当数据恢复至DATADIR目录以后,还需要确保所有数据文件的属主和属组均为正确的用户,如mysql,否则,在启动mysqld之前还需要事先修改数据文件的属主和属组。
如:# chown -R mysql:mysql /mydata/data/
3、使用innobackupex进行增量备份
每个InnoDB的页面都会包含一个LSN信息,每当相关的数据发生改变,相关的页面的LSN就会自动增长。这正是InnoDB表可以进行增量备份的基础,即innobackupex通过备份上次完全备份之后发生改变的页面来实现。
要实现第一次增量备份,可以使用下面的命令进行:
# innobackupex --incremental /backup --incremental-basedir=BASEDIR
其中,BASEDIR指的是完全备份所在的目录,此命令执行结束后,innobackupex命令会在/backup目录中创建一个新的以时间命名的目录以存放所有的增量备份数据。另外,在执行过增量备份之后再一次进行增量备份时,其--incremental-basedir应该指向上一次的增量备份所在的目录。
### 在数据库上添加数据,再做增量备份 [root@Node5 backup]# innobackupex -uroot -p123 --incremental /tmp/backup --incremental-basedir=/tmp/backup/2017-03-22_17-00-54/ [root@Node5 backup]# vim 2017-03-22_17-33-37/xtrabackup_checkpoints backup_type = incremental from_lsn = 1622636 to_lsn = 1626700 last_lsn = 1626700 compact = 0 recover_binlog_info = 0 ### 在数据库上增加数据,再做一个增量备份 [root@Node5 backup]# innobackupex -uroot -p123 --incremental /tmp/backup --incremental-basedir=/tmp/backup/2017-03-22_17-33-37/ [root@Node5 backup]# vim 2017-03-22_17-40-40/xtrabackup_checkpoints backup_type = incremental from_lsn = 1626700 to_lsn = 1633691 last_lsn = 1633691 compact = 0 recover_binlog_info = 0
需要注意的是,增量备份仅能应用于InnoDB或XtraDB表,对于MyISAM表而言,执行增量备份时其实进行的是完全备份。
“准备”(prepare)增量备份与准备完全备份有着一些不同,尤其要注意的是:
(1)需要在每个备份(包括完全和各个增量备份)上,将已经提交的事务进行“重放”。“重放”之后,所有的备份数据将合并到完全备份上。
(2)基于所有的备份将未提交的事务进行“回滚”。
于是,操作就变成了:
# innobackupex --apply-log --redo-only BASE-DIR
接着执行:
# innobackupex --apply-log --redo-only BASE-DIR --incremental-dir=INCREMENTAL-DIR-1
而后是第二个增量:
# innobackupex --apply-log --redo-only BASE-DIR --incremental-dir=INCREMENTAL-DIR-2
[root@Node5 backup]# innobackupex --apply-log --redo-only 2017-03-22_17-00-54/ [root@Node5 backup]# innobackupex --apply-log --redo-only 2017-03-22_17-00-54/ --incremental-dir=2017-03-22_17-33-37/ [root@Node5 backup]# innobackupex --apply-log --redo-only 2017-03-22_17-00-54/ --incremental-dir=2017-03-22_17-40-40/ [root@Node5 backup]# vim 2017-03-22_17-00-54/xtrabackup_checkpoints backup_type = log-applied from_lsn = 0 to_lsn = 1633691 last_lsn = 1633691 compact = 0 recover_binlog_info = 0
其中BASE-DIR指的是完全备份所在的目录,而INCREMENTAL-DIR-1指的是第一次增量备份的目录,INCREMENTAL-DIR-2指的是第二次增量备份的目录,其它依次类推,即如果有多次增量备份,每一次都要执行如上操作;
[root@Node5 backup]# ls -lh * 2017-03-22_17-00-54: total 21M -rw-r----- 1 root root 418 Mar 22 17:00 backup-my.cnf -rw-r----- 1 root root 12M Mar 22 17:43 ibdata1 drwxr-x--- 2 root root 4.0K Mar 22 17:43 mydb drwxr-x--- 2 root root 4.0K Mar 22 17:43 mysql drwxr-x--- 2 root root 4.0K Mar 22 17:43 performance_schema drwxr-x--- 2 root root 4.0K Mar 22 17:43 test1 drwxr-x--- 2 root root 4.0K Mar 22 17:43 test2 drwxr-x--- 2 root root 4.0K Mar 22 17:43 testdb -rw-r----- 1 root root 29 Mar 22 17:43 xtrabackup_binlog_info -rw-r--r-- 1 root root 24 Mar 22 17:43 xtrabackup_binlog_pos_innodb -rw-r----- 1 root root 111 Mar 22 17:43 xtrabackup_checkpoints -rw-r----- 1 root root 568 Mar 22 17:43 xtrabackup_info -rw-r----- 1 root root 8.0M Mar 22 17:42 xtrabackup_logfile 2017-03-22_17-33-37: total 8.5M -rw-r----- 1 root root 418 Mar 22 17:33 backup-my.cnf -rw-r----- 1 root root 416K Mar 22 17:33 ibdata1.delta -rw-r----- 1 root root 44 Mar 22 17:33 ibdata1.meta drwxr-x--- 2 root root 4.0K Mar 22 17:33 mydb drwxr-x--- 2 root root 4.0K Mar 22 17:33 mysql drwxr-x--- 2 root root 4.0K Mar 22 17:33 performance_schema drwxr-x--- 2 root root 4.0K Mar 22 17:33 test1 drwxr-x--- 2 root root 4.0K Mar 22 17:33 test2 drwxr-x--- 2 root root 4.0K Mar 22 17:33 testdb -rw-r----- 1 root root 28 Mar 22 17:33 xtrabackup_binlog_info -rw-r----- 1 root root 117 Mar 22 17:33 xtrabackup_checkpoints -rw-r----- 1 root root 567 Mar 22 17:33 xtrabackup_info -rw-r----- 1 root root 8.0M Mar 22 17:43 xtrabackup_logfile 2017-03-22_17-40-40: total 8.7M -rw-r----- 1 root root 418 Mar 22 17:40 backup-my.cnf -rw-r----- 1 root root 656K Mar 22 17:40 ibdata1.delta -rw-r----- 1 root root 44 Mar 22 17:40 ibdata1.meta drwxr-x--- 2 root root 4.0K Mar 22 17:40 mysql drwxr-x--- 2 root root 4.0K Mar 22 17:40 performance_schema drwxr-x--- 2 root root 4.0K Mar 22 17:40 test1 drwxr-x--- 2 root root 4.0K Mar 22 17:40 test2 drwxr-x--- 2 root root 4.0K Mar 22 17:40 testdb -rw-r----- 1 root root 29 Mar 22 17:40 xtrabackup_binlog_info -rw-r----- 1 root root 117 Mar 22 17:40 xtrabackup_checkpoints -rw-r----- 1 root root 568 Mar 22 17:40 xtrabackup_info -rw-r----- 1 root root 8.0M Mar 22 17:43 xtrabackup_logfile
可以看到增量备份主要是innodb共享的表空间文件数据的差异
恢复数据:
恢复完整备份(此时完整备份已经包含所有增量备份,可以通过查看checkpoints来核实)
# innobackupex --copy-back /mysql_backup/BASE-DIR
[root@Node5 backup]# innobackupex --copy-back 2017-03-22_17-00-54/ [root@Node5 backup]# cd /data/mydata [root@Node5 mydata]# chown -R mysql. . ### 然后可以检查后面新增的数据是否都在
数据恢复后,应该做一次完全备份(方便后面数据恢复)
4、Xtrabackup的“流”及“备份压缩”功能
Xtrabackup对备份的数据文件支持“流”功能,即可以将备份的数据通过STDOUT传输给tar程序进行归档,而不是默认的直接保存至某备份目录中。要使用此功能,仅需要使用--stream选项即可。如:
# innobackupex --stream=tar /backup | gzip > /backup/`date +%F_%H-%M-%S`.tar.gz
甚至也可以使用类似如下命令将数据备份至其它服务器:
# innobackupex --stream=tar /backup | ssh [email protected] "cat - > /backups/`date +%F_%H-%M-%S`.tar"
此外,在执行本地备份时,还可以使用--parallel选项对多个文件进行并行复制。此选项用于指定在复制时启动的线程数目。当然,在实际进行备份时要利用此功能的便利性,也需要启用innodb_file_per_table选项或共享的表空间通过innodb_data_file_path选项存储在多个ibdata文件中。对某一数据库的多个文件的复制无法利用到此功能。其简单使用方法如下:
# innobackupex --parallel /path/to/backup
同时,innobackupex备份的数据文件也可以存储至远程主机,这可以使用--remote-host选项来实现:
# innobackupex [email protected] /path/IN/REMOTE/HOST/to/backup
5、导入或导出单张表
针对于innodb表而言,myisam表可以直接复制3个表文件就可以实现表的导入导出
默认情况下,InnoDB表不能通过直接复制表文件的方式在mysql服务器之间进行移植,即便使用了innodb_file_per_table选项。而使用Xtrabackup工具可以实现此种功能,不过,此时需要“导出”表的mysql服务器启用了innodb_file_per_table选项(严格来说,是要“导出”的表在其创建之前,mysql服务器就启用了innodb_file_per_table选项),并且“导入”表的服务器同时启用了innodb_file_per_table和innodb_expand_import选项。
1)“导出”表
导出表是在备份的prepare阶段进行的,因此,一旦完全备份完成,就可以在prepare过程中通过--export选项将某表导出了:
# innobackupex --apply-log --export /path/to/backup
此命令会为每个innodb表的表空间创建一个以.exp结尾的文件,这些以.exp结尾的文件则可以用于导入至其它服务器。
2)“导入”表
要在mysql服务器上导入来自于其它服务器的某innodb表,需要先在当前服务器上创建一个跟原表表结构一致的表,而后才能实现将表导入:(会生成mytable.frm表定义文件)
mysql> CREATE TABLE mytable (...) ENGINE=InnoDB;
然后将此表的表空间删除:
mysql> ALTER TABLE mydatabase.mytable DISCARD TABLESPACE;
接下来,将来自于“导出”表的服务器的mytable表的mytable.ibd和mytable.exp文件复制到当前服务器的数据目录,然后使用如下命令将其“导入”:
mysql> ALTER TABLE mydatabase.mytable IMPORT TABLESPACE;
6、使用Xtrabackup对数据库进行部分备份
Xtrabackup也可以实现部分备份,即只备份某个或某些指定的数据库或某数据库中的某个或某些表。但要使用此功能,必须启用innodb_file_per_table选项,即每张表保存为一个独立的文件。同时,其也不支持--stream选项,即不支持将数据通过管道传输给其它程序进行处理。
此外,还原部分备份跟还原全部数据的备份也有所不同,即你不能通过简单地将prepared的部分备份使用--copy-back选项直接复制回数据目录,而是要通过导入表的方式来实现还原。当然,有些情况下,部分备份也可以直接通过--copy-back进行还原,但这种方式还原而来的数据多数会产生数据不一致的问题,因此,无论如何不推荐使用这种方式。
1)实现部分备份
实现部分备份的方式有三种:正则表达式(--include), 枚举表文件(--tables-file)和列出要备份的数据库(--databases)。
(a)使用--include
使用--include时,要求为其指定要备份的表的完整名称,即形如databasename.tablename,如:
# innobackupex --include='^mageedu[.]tb1' /path/to/backup
(b)使用--tables-file
此选项的参数需要是一个文件名,此文件中每行包含一个要备份的表的完整名称;如:
# echo -e 'mageedu.tb1\nmageedu.tb2' > /tmp/tables.txt
# innobackupex --tables-file=/tmp/tables.txt /path/to/backup
(c)使用--databases
此选项接受的参数为数据名,如果要指定多个数据库,彼此间需要以空格隔开;同时,在指定某数据库时,也可以只指定其中的某张表。此外,此选项也可以接受一个文件为参数,文件中每一行为一个要备份的对象。如:
# innobackupex --databases="mageedu testdb" /path/to/backup
例子:
innobackupex --databases="mydatabase.mytable mysql" /path/to/backup --user=backup --password=backup
上面的方式会和其他使用innobackupex命令的备份方式一样,创建一个时间戳命名的文件夹,最终结果将包括mydatabase数据库中的mytable表,以及整个完整的mysql数据库。
2)准备(preparing)部分备份
prepare部分备份的过程类似于导出表的过程,要使用--export选项进行:
# innobackupex --apply-log --export /pat/to/partial/backup
此命令执行过程中,innobackupex会调用xtrabackup命令从数据字典中移除缺失的表,因此,会显示出许多关于“表不存在”类的警告信息。同时,也会显示出为备份文件中存在的表创建.exp文件的相关信息。
3)还原部分备份
还原部分备份的过程跟导入表的过程相同。当然,也可以通过直接复制prepared状态的备份直接至数据目录中实现还原,不过此时要求数据目录处于一致状态。
复制部分表数据的方法:
导出某表的某些数据:
select clause INTO OUTFILE '/PATH/TO/FILE_NAME';
# 保存的目录mysql需要有写权限
恢复导出的数据:
需要先创建表结构:
CREATE [TEMPORARY] TABLE [IF NOT EXISTS] tbl_name
{ LIKE old_tbl_name | (LIKE old_tbl_name) };
导入数据:
load data infile '/PATH/TO/FILE_NAME' into table TB_NAME;
三、mysql数据备份、还原总结
1、xtrabackup
xtrabackup实现完毕备份很简便
xtrabackup的部分备份和表导入导出,比较麻烦了,要导入单张表直接使用mysqldump更简便
完整的备份策略:完全备份 + 增量备份 + 二进制日志
2、注意
将数据和二进制文件放置于不同的磁盘设备上,二进制日志也应该周期性地备份
将数据和备份数据分开存放,建议不在同一设备、同一主机、同一机房、同一地域
每次灾难恢复后都应该立即做一次完全备份
备份后的数据应该周期性地做恢复测试
备份脚本化
3、从备份中恢复应该遵循的步骤
1)停止mysqld服务器
2)记录服务器配置和文件权限
3)将备份恢复到mysql数据目录(依赖于具体的备份工具)
4)改变配置和文件权限
5)以限制方式启动mysql服务器;比如禁止通过网络访问:
在配置文件中添加:
[mysqld]
skip-networking
soket=/tmp/mysql-recovery.sock
6)载入额外的逻辑备份:检查和重复二进制日志
7)检查已经还原的数据
8)以完全访问模式重启服务器
注释前面在配置文件中添加的选项,并重启