用的人都知道,不用多说这个工具的强大之处
1,安装
1.1,使用rpm安装时候提示缺少包
[root@centos7 soft]# rpm -ivh percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm
warning: percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY
error: Failed dependencies:
perl(DBD::mysql) is needed by percona-xtrabackup-24-2.4.4-1.el7.x86_64
但是在安装 yum install perl-DBD-MySQL的时候出现问题:
Error: Package: perl-DBD-MySQL-4.023-5.el7.x86_64 (base)
Requires: libmysqlclient.so.18()(64bit)
Available: 1:mariadb-libs-5.5.44-2.el7.centos.x86_64 (base)
这个时候我们需要配置mysql源解决这个问题:
cd /etc/yum.repo.d
wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm 将下载的rpm安装
再次执行yum install perl-DBD-MySQL问题解决
如果再遇到 libev.so.4()(64bit) is needed by percona-xtrabackup-24-2.4.6-2.el6.x86_64需要在http://rpmfind.net/linux/rpm2html/search.php?找到对应的rpm包安装即可
另外,冲突情况问题解决:
[root@centos7 xtrabackup]# rpm -ivh --prefix=/home/xtrabackup/ /root/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
warning: /root/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY
error: package percona-xtrabackup-24 is not relocatable
[root@centos7 xtrabackup]# rpm -ivh --badreloc=/home/xtrabackup/ /root/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
warning: /root/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY
Preparing... ################################# [100%]
file /usr/bin/xbcloud from install of percona-xtrabackup-24-2.4.12-1.el7.x86_64 conflicts with file from package percona-xtrabackup-24-2.4.4-1.el7.x86_64
file /usr/bin/xbcrypt from install of percona-xtrabackup-24-2.4.12-1.el7.x86_64 conflicts with file from package percona-xtrabackup-24-2.4.4-1.el7.x86_64
file /usr/bin/xbstream from install of percona-xtrabackup-24-2.4.12-1.el7.x86_64 conflicts with file from package percona-xtrabackup-24-2.4.4-1.el7.x86_64
file /usr/bin/xtrabackup from install of percona-xtrabackup-24-2.4.12-1.el7.x86_64 conflicts with file from package percona-xtrabackup-24-2.4.4-1.el7.x86_64
file /usr/share/man/man1/innobackupex.1.gz from install of percona-xtrabackup-24-2.4.12-1.el7.x86_64 conflicts with file from package percona-xtrabackup-24-2.4.4-1.el7.x86_64
file /usr/share/man/man1/xbcrypt.1.gz from install of percona-xtrabackup-24-2.4.12-1.el7.x86_64 conflicts with file from package percona-xtrabackup-24-2.4.4-1.el7.x86_64
file /usr/share/man/man1/xbstream.1.gz from install of percona-xtrabackup-24-2.4.12-1.el7.x86_64 conflicts with file from package percona-xtrabackup-24-2.4.4-1.el7.x86_64
file /usr/share/man/man1/xtrabackup.1.gz from install of percona-xtrabackup-24-2.4.12-1.el7.x86_64 conflicts with file from package percona-xtrabackup-24-2.4.4-1.el7.x86_64
[root@centos7 xtrabackup]# rpm -ivh --relocate=/home/xtrabackup/ --badreloc /root/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
rpm: relocations must contain a =
[root@centos7 xtrabackup]# rpm -ivh --relocate=/=/home/xtrabackup/ --badreloc /root/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
warning: /root/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:percona-xtrabackup-24-2.4.12-1.el################################# [100%]
无论是prefix还是relocate都不见得可以真正可以用,因为有的包或者文件不允许装到其他路径,所以可以加上badreloc来强制把文件安装到想要的地方
1.2 也可以使用二进制安装方式直接解压相应文件到相应的目即可
percona-xtrabackup-2.4.4-Linux-x86_64.tar
1.3 源码安装
2,添加备份账户
grant reload,lock tables,replication client,process on *.* to backup@localhost identified by '1234';
3,普通备份
3.1 innobackupex --defaults-file=/etc/my.cnf --port=3306 --no-timestamp --user=backup --password='1234' /backup
3.2 关库systemctl stop mysqld,清空日志文件
3.3 恢复日志文件
innobackupex --defaults-file=/etc/my.cnf --port=3306 --user=backup --password='1234' --apply_log /backup
3.4 恢复数据文件
innobackupex --defaults-file=/etc/my.cnf --port=3306 --user=backup --password='1234' --copy-back /backup
3.5 启动数据库,验证正常
说明:如果是备份一个数据库,添加参数--database=backup_test,如果备份某个表,--database=backup_test.t
4,增量备份
4.1 innobackupex --defaults-file=/etc/my.cnf --port=3306 --user=backup --password='1234' /backup
4.2 进行DDL,DML操作
4.3 增量备份
innobackupex --defaults-file=/etc/my.cnf --port=3306 --no-timestamp --user=backup --password='1234' --incremental --incremental-basedir=/backup/ /backup/
4.4 关库systemctl stop mysqld,清空日志文件
4.5 恢复日志文件
innobackupex --defaults-file=/etc/my.cnf --port=3306 --user=backup --password='1234' --apply-log /backup
4.6 恢复增量备份日志文件
innobackupex --defaults-file=/etc/my.cnf --port=3306 --user=backup --password='1234' --apply-log /backup incremental-basedir=/backup
4.7 恢复增量备份数据文件
innobackupex --defaults-file=/etc/my.cnf --port=3306 --user=backup --password='1234' --copy-back /backup
4.8 启动数据库,验证正常
说明:如果是备份一个数据库,添加参数--database=backup_test,如果备份某个表,--database=backup_test.t
backup->prepare->recovery(恢复到datadir)
1,备份
若加上--no-timestamp,则不会在所指定的目录里生成一个时间戳目录,而是直接放在所指定的目录里
如果是增量备份, --incremental DIRXXX --incremental-basedir=/DIRXXX_BASE
2,prepare
主要是--apply-log参数,类似innodb的crash recovery,也可以理解为是“apply”的过程,这里是全备prepare的命令,主要是应用日志,将未提交的事务回滚,将已提交的事务写入数据文件
如果是增量应用日志,则首先应用(--apply-log --redo-only)前面n-1个日志文件到基础备份,然后应用第n日志(--apply-log),
最后在基本备份上合并备份(--apply-log)
3,恢复(需要提前停止mysql服务,备份指定文件)
主要是--copy-back参数, innobackupex --copy-back $basedir
将$basedir的东西恢复到datadir下,datadir无需指定,将会读取my.cnf获得,
默认是需要datadir内为空的(或者没有创建),如果要强制写,则需要加参数: --force-non-empty-directories
最后,修改恢复的文件权限,启动mysql服务即可
创建文件mkdir /home/dbbak
备份数据库:innobackup --defaults-file=/etc/my.cnf --user=root --password=xxx /home/dbbak
执行一些删除操作,然后关闭数据库 mysqladmin shutdown --user=root --password=xxx;
移动数据文件到别的目录:
[root@m1 ~]# mv /usr/local/mysql/data /usr/local/mysql/data_bak
[root@m1 ~]# mkdir /usr/local/mysql/data
恢复:
这一阶段会启动xtrabackup内嵌的innodb实例,将xtrabackup日志xtrabackup_Log进行回放,将提交的事务信息变更应用到innodb数据或表空间,同时回滚未提交的事务
应用日志
[root@m1 ~]# innobackupex --apply-log /home/dbbak/2017-04-19_16-19-57/
#执行copy:
[root@m1 ~]# innobackupex --defaults-file=/etc/my.cnf --copy-back --rsync /home/dbbak/2017-04-19_16-19-57/
另外可以但看看备份的文件:
[root@m1 ~]# cd /home/dbbak/2017-04-19_16-19-57/
[root@m1 2017-04-19_16-19-57]# ls
backup-my.cnf ib_logfile0 mysql sys t2 xtrabackup_binlog_pos_innodb xtrabackup_logfile
ib_buffer_pool ib_logfile1 performance_schema t test xtrabackup_checkpoints
ibdata1 ibtmp1 p_test t1 xtrabackup_binlog_info xtrabackup_info
[root@m1 2017-04-19_16-19-57]# cat xtrabackup_checkpoints
backup_type = full-prepared #全量备份
from_lsn = 0
to_lsn = 3774561858
last_lsn = 3774561867 #LSN
compact = 0
recover_binlog_info = 0
[root@m1 2017-04-19_16-19-57]# cat xtrabackup_binlog_info
mysql-bin.000018 3074
备份
a,全备
innobackupex --defaults-file=/etc/my.cnf --user=root --password=XXX /home/dbbak
b,增量备份
innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxx --incremental /home/dbbak --incremental-basedir=/home/dbbak/2017-04-19_17-58-02/ --parallel=2
c,再次增量备份
innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxx --incremental /home/dbbak --incremental-basedir=/home/dbbak/2017-04-19_18-02-49/ --parallel=2
d,最后跟全备恢复一样
innobackupex --defaults-file=/etc/my.cnf --copy-back --rsync
/home/dbbak/2017-04-19_18-02-49/
恢复步骤
增量备份的恢复
a,恢复完全备份
[root@m1 dbbak]# innobackupex --apply-log --redo-only /home/dbbak/2017-04-19_17-58-02/
b,增量备份恢复到完全备份,最后一个去掉--redo-only
[root@m1 dbbak]# innobackupex --apply-log --redo-only /home/dbbak/2017-04-19_17-58-02/ --incremental-dir=/home/dbbak/2017-04-19_18-02-49/
[root@m1 dbbak]# innobackupex --apply-log /home/dbbak/2017-04-19_17-58-02/ --incremental-dir=/home/dbbak/2017-04-19_18-12-45/
c,对整体完全备份进行恢复
#模拟测试:
#a,删除一个表
#b,移动备份数据文件目录,创建目录
[root@m1 ~]# mv /usr/local/mysql/data /usr/local/mysql/data_bak
[root@m1 ~]# mkdir /usr/local/mysql/data
#c,恢复
[root@m1 ~]# innobackupex --defaults-file=/etc/my.cnf --copy-back --rsync /home/dbbak/2017-04-19_17-58-02/
#d,设置权限
[root@m1 ~]# chown -R mysql:mysql /usr/local/mysql/data
注意:
在InnoDB中,每个page中都记录LSN信息,每当相关数据发生改变,page的LSN就会自动增加,xtrabackup的增量备份就是依据这一原理进行的。xtrabackup将上次备份(完全备份集或者也是一个增量备份集)以来LSN改变的page进行备份。
所以,要做增量备份第一次就要做一个完全备份(就是将MySQL实例或者说要备份的数据库表做一个完全复制,同时记录LSN),之后可以基于此进行增量备份以及恢复
在oracle中,可以启用block change tracing 这样将大大提高增量备份的速度
[root@m1 dbbak]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxx --include='test.*|t.*' --slave-info /home/dbbak
恢复:
应用日志
[root@m1 dbbak]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxx --apply-log --export /home/dbbak/2017-04-20_14-49-26/
删除之前的库:
mysql> use test;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| t1 |
+----------------+
1 row in set (0.00 sec)
mysql> select * from t1;
+------+
| id |
+------+
| 1 |
+------+
1 row in set (0.01 sec)
mysql> drop database test;
Query OK, 1 row affected (0.15 sec)
关库:
[root@m1 ~]# mysqladmin shutdown --user=root --password=XXX
mysqladmin: [Warning] Using a password on the command line interface can be insecure.
2017-04-20T07:01:57.545929Z mysqld_safe mysqld from pid file /usr/local/mysql/data/m1.pid ended
[1]+ Done mysqld_safe
备份之前的数据文件:
[root@m1 dbbak]# cp -r /usr/local/mysql/data /usr/local/mysql/data_bak
恢复操作:
[root@m1 dbbak]# /usr/bin/cp -rf /home/dbbak/2017-04-20_14-49-26/* /usr/local/mysql/data/
[root@m1 dbbak]# chown -R mysql:mysql /usr/local/mysql/data
启动查看正常
[root@m1 t]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxx --slave-info --safe-slave-backup --include='t.t1*' --stream=tar /home/dbbak > /home/dbbak/t_bak.tar.gz
恢复:
解压当前目录,并应用日志
[root@m1 t]# tar -ixf t_bak.tar.gz -C .
[root@m1 t]# innobackupex --apply-log --export /home/dbbak/
删除库t的表t1
还原表:
定义表->删除表空间-->copy文件->导入表空间
表备份恢复
[root@m1 t]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxx --slave-info --safe-slave-backup --include='t.t1*' --stream=tar /home/dbbak > /home/dbbak/t_bak.tar.gz
恢复:
解压当前目录,并应用日志
[root@m1 t]# tar -ixf t_bak.tar.gz -C .
[root@m1 t]# innobackupex --apply-log --export /home/dbbak/
删除库t的表t1
还原表:
定义表->删除表空间-->copy文件->导入表空间
[root@m1 t]# cp /home/dbbak/t/{t1.ibd,t1.cfg} /usr/local/mysql/data/t/ #cfg文件包含InnoDB字典的特殊存储格式;如果目的库是XtraDB,需要拷贝t1.ibd、t1.exp
mysql> use t;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> create table t1(id int);
Query OK, 0 rows affected (0.05 sec)
mysql> alter table t.t1 discard tablespace;
Query OK, 0 rows affected (0.03 sec)
mysql> alter table t.t1 import tablespace; #chown -R mysql:mysql /usr/local/mysql/data/t
ERROR 1815 (HY000): Internal error: Cannot reset LSNs in table `t`.`t1` : Tablespace not found
mysql> alter table t.t1 import tablespace;
Query OK, 0 rows affected (0.06 sec)
mysql> select * from t1;
+------+
| id |
+------+
| 1 |
| 1 |
+------+
2 rows in set (0.01 sec)
参数说明,参考:https://blog.csdn.net/wfs1994/article/details/80398234
#常用参数
--user:该选项表示备份账号。
--password:该选项表示备份的密码。
--port:该选项表示备份数据库的端口。
--host:该选项表示备份数据库的地址。
--socket:该选项表示mysql.sock所在位置,以便备份进程登录mysql。
--defaults-file:该选项指定了从哪个文件读取MySQL配置,必须放在命令行第一个选项的位置。
--databases:该选项接受的参数为数据名,如果要指定多个数据库,彼此间需要以空格隔开;如:"db1 db2",同时,在指定某数据库时,也可以只指定其中的某张表。如:"mydatabase.mytable"。该选项对innodb引擎表无效,还是会备份所有innodb表。此外,此选项也可以接受一个文件为参数,文件中每一行为一个要备份的对象。 #压缩参数
--compress:该选项表示压缩innodb数据文件的备份。
--compress-threads:该选项表示并行压缩worker线程的数量。
--compress-chunk-size:该选项表示每个压缩线程worker buffer的大小,单位是字节,默认是64K。
#加密参数
--encrypt:该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份,目前支持的算法有ASE128,AES192,AES256。
--encrypt-key:该选项使用合适长度加密key,因为会记录到命令行,所以不推荐使用。
--encryption-key-file:该选项表示文件必须是一个简单二进制或者文本文件,加密key可通过以下命令行命令生成:openssl rand -base64 24。
--encrypt-threads:该选项表示并行加密的worker线程数量。
--encrypt-chunk-size:该选项表示每个加密线程worker buffer的大小,单位是字节,默认是64K。
#增量备份参数
--incremental:该选项表示创建一个增量备份,需要指定--incremental-basedir。
--incremental-basedir:该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录,与--incremental同时使用。
--incremental-lsn:该选项表示指定增量备份的LSN,与--incremental选项一起使用。
--incremental-dir:该选项表示增量备份的目录。
--incremental-force-scan:该选项表示创建一份增量备份时,强制扫描所有增量备份中的数据页。
--incremental-history-name:该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近(innodb_to_lsn)成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex--incremental-history-uuid互斥。如果没有检测到有效的lsn,xtrabackup会返回error。
--incremental-history-uuid:该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。
#主从
--slave-info:该选项表示对slave进行备份的时候使用,打印出master的名字和binlog pos,同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。
--safe-slave-backup:该选项表示为保证一致性复制状态,这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份,如果没有打开临时表,bakcup会立刻开始,否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在--safe-slave-backup-timeount(默认300秒)秒之后不为0,从库sql线程会在备份完成的时候重启。
--include:该选项表示使用正则表达式匹配表的名字[db.tb],要求为其指定匹配要备份的表的完整名称,即databasename.tablename。
--tables-file:该选项表示指定含有表列表的文件,格式为database.table,该选项直接传给--tables-file。
--no-timestamp:该选项可以表示不要创建一个时间戳目录来存储备份,指定到自己想要的备份文件夹。
--rsync:该选项表示通过rsync工具优化本地传输,当指定这个选项,innobackupex使用rsync拷贝非Innodb文件而替换cp,当有很多DB和表的时候会快很多,不能--stream一起使用。
--stream:该选项表示流式备份的格式,backup完成之后以指定格式到STDOUT,目前只支持tar和xbstream。
--ibbackup:该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录,如果指定了该选项,innoabackupex自动决定用的二进制程序。
--kill-long-queries-timeout:该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0,不会kill任何查询,使用这个选项xtrabackup需要有Process和super权限。
--kill-long-query-type:该选项表示kill的类型,默认是all,可选select。 --ftwrl-wait-threshold:该选项表示检测到长查询,单位是秒,表示长查询的阈值。
--ftwrl-wait-query-type:该选项表示获得全局锁之前允许那种查询完成,默认是ALL,可选update。
--galera-info:该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件,该选项只适用于备份PXC。
--defaults-extra-file:该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置,必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。
---defaults-group:该选项表示从配置文件读取的组,innobakcupex多个实例部署时使用。
--no-lock:该选项表示关闭FTWRL的表锁,只有在所有表都是Innodb表并且不关心backup的binlog pos点,如果有任何DDL语句正在执行或者非InnoDB正在更新时(包括mysql库下的表),都不应该使用这个选项,后果是导致备份数据不一致,如果考虑备份因为获得锁失败,可以考虑--safe-slave-backup立刻停止复制线程。
--tmpdir:该选项表示指定--stream的时候,指定临时文件存在哪里,在streaming和拷贝到远程server之前,事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候,你的xtrabackup_logfile可能会临时放在/tmp目录下,如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+),很可能会撑满你的/tmp目录,可以通过参数--tmpdir指定目录来解决这个问题。
--history:该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。 --close-files:该选项表示关闭不再访问的文件句柄,当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大,这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险,会有产生不一致备份的可能。
--compact:该选项表示创建一份没有辅助索引的紧凑的备份。
--throttle:该选项表示每秒IO操作的次数,只作用于bakcup阶段有效。apply-log和--copy-back不生效不要一起用
prepare:
innobackupex --apply-log [--use-memory=B] [--defaults-file=MY.CNF] [--export] [--redo-only] [--ibbackup=IBBACKUP-BINARY] BACKUP-DIR
--apply-log:该选项表示同xtrabackup的--prepare参数,一般情况下,在备份完成后,数据尚且不能用于恢复操作,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此,此时数据 文件仍处理不一致状态。--apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态。
--use-memory:该选项表示和--apply-log选项一起使用,prepare 备份的时候,xtrabackup做crash recovery分配的内存大小,单位字节。也可(1MB,1M,1G,1GB),推荐1G。
--defaults-file:该选项指定了从哪个文件读取MySQL配置,必须放在命令行第一个选项的位置。
--export:这个选项表示开启可导出单独的表之后再导入其他Mysql中。
--redo-only:这个选项在prepare base full backup,往其中merge增量备份(但不包括最后一个)时候使用。
--decompress:该选项表示解压--compress选项压缩的文件。
--parallel:该选项表示允许多个文件同时解压。为了解压,qpress工具必须有安装并且访问这个文件的权限。这个进程将在同一个位置移除原来的压缩/加密文件。
--decrypt:该选项表示解密通过--encrypt选项加密的.xbcrypt文件。
还原:
innobackupex --copy-back [--defaults-file=MY.CNF] [--defaults-group=GROUP-NAME] BACKUP-DIR
innobackupex --move-back [--defaults-file=MY.CNF] [--defaults-group=GROUP-NAME] BACKUP-DIR
--copy-back:做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir。
--move-back:这个选项与--copy-back相似,唯一的区别是它不拷贝文件,而是移动文件到目的地。这个选项移除backup文件,用时候必须小心。
使用场景:没有足够的磁盘空间同事保留数据文件和Backup副本 注意:
1.datadir目录必须为空。除非指定innobackupex --force-non-empty-directorires选项指定,否则--copy-backup选项不会覆盖
2.在restore之前,必须shutdown MySQL实例,你不能将一个运行中的实例restore到datadir目录中
3.由于文件属性会被保留,大部分情况下你需要在启动实例之前将文件的属主改为mysql,这些文件将属于创建备份的用户
chown -R my5711:mysql /data1/dbrestore
以上需要在用户调用Innobackupex之前完成
--force-non-empty-directories:指定该参数时候,使得innobackupex --copy-back或--move-back选项转移文件到非空目录,已存在的文件不会被覆盖。
如果--copy-back和--move-back文件需要从备份目录拷贝一个在datadir已经存在的文件,会报错失败