Xtrabackup工具的安装与使用

Xtrabackup工具的安装与使用

1、Xtrabackup介绍

Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）；mysqldump备份方式是采用的逻辑备份，其最大的缺陷是备份和恢复速度较慢，如果数据库大于50G，mysqldump备份就不太适合。

 

xtrabackup8 针对mysql8版本，对于之前的版本不支持。

xtrabackup2.4 针对mysql5.7版本开发

xtrabackup2.3 针对mysql5.6版本开发，兼容mysql5.5版本

xtrabackup2.2 针对mysql5.5版本开发

 

2、rpm包安装

安装依赖包

yum -y install libev

rpm -ivh percona-xtrabackup-24-2.4.15-1.el7.x86_64.rpm

 

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf \

bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel \

vim-common

 

[root@mysqldb opt]# rpm -ql percona-xtrabackup-24-2.4.15-1.el7.x86_64

/usr/bin/innobackupex # xtrabackup的软链

/usr/bin/xbcloud

/usr/bin/xbcloud_osenv

/usr/bin/xbcrypt

/usr/bin/xbstream

/usr/bin/xtrabackup

/usr/lib64/xtrabackup/plugin/keyring_file.so

/usr/lib64/xtrabackup/plugin/keyring_vault.so

/usr/share/doc/percona-xtrabackup-24-2.4.15

/usr/share/doc/percona-xtrabackup-24-2.4.15/COPYING

/usr/share/man/man1/innobackupex.1.gz

/usr/share/man/man1/xbcrypt.1.gz

/usr/share/man/man1/xbstream.1.gz

/usr/share/man/man1/xtrabackup.1.gz

 

3）xbcrypt 加密解密备份工具

4）xbstream 流传打包传输工具，类似tar

 

 

3、二进制安装

 

 

编译安装：

cmake -DBUILD_CONFIG=xtrabackup_release -DWITH_MAN_PAGES=OFF && make -j4

make install

4、innobackupex参数说明

--redo-only

在apply log时，只前滚数据，但不会回滚，使得后续的增量备份可以应用。

--compress

该选项表示压缩innodb数据文件的备份。

--compress-threads

该选项表示并行压缩worker线程的数量。

--compress-chunk-size

该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。

--encrypt

该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。

--encrypt-threads

该选项表示并行加密的worker线程数量。

--encrypt-chunk-size

该选项表示每个加密线程worker buffer的大小，单位是字节，默认是64K。

--encrypt-key

该选项使用合适长度加密key，因为会记录到命令行，所以不推荐使用。

--encryption-key-file

该选项表示文件必须是一个简单二进制或者文本文件，加密key可通过以下命令行命令生成：openssl rand -base64 24。

--include

该选项表示使用正则表达式匹配表的名字[db.tb]，要求为其指定匹配要备份的表的完整名称，即databasename.tablename。

--user

该选项表示备份账号。

--password：该选项表示备份的密码。

--port：该选项表示备份数据库的端口。

--host：该选项表示备份数据库的地址。

--socket：该选项表示mysql.sock所在位置，以便备份进程登录mysql。

--databases

该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如："xtra_test dba_test"，同时，在指定某数据库时，也可以只指定其中的某张表。如："mydatabase.mytable"。该选项对innodb引擎表无效，还是会备份所有innodb表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。

--tables-file

该选项表示指定含有表列表的文件，格式为database.table，该选项直接传给--tables-file。

--no-timestamp

该选项可以表示不要创建一个时间戳目录来存储备份，指定到自己想要的备份文件夹。

--ibbackup

该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录，如果指定了该选项,innoabackupex自动决定用的二进制程序。

--slave-info

该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。

--safe-slave-backup

该选项表示为保证一致性复制状态，这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份，如果没有打开临时表，bakcup会立刻开始，否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在--safe-slave-backup-timeount

（默认300秒）秒之后不为0，从库sql线程会在备份完成的时候重启。

--rsync

该选项表示通过rsync工具优化本地传输，当指定这个选项，innobackupex使用rsync拷贝非Innodb文件而替换cp，当有很多DB和表的时候会快很多，不能--stream一起使用。

--kill-long-queries-timeout：该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0，不会kill任何查询，使用这个选项xtrabackup需要有Process和super权限。

--kill-long-query-type

该选项表示kill的类型，默认是all，可选select。

--ftwrl-wait-threshold

该选项表示检测到长查询，单位是秒，表示长查询的阈值。

--ftwrl-wait-query-type

该选项表示获得全局锁之前允许那种查询完成，默认是ALL，可选update。

--galera-info

该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。

--stream

该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。

--defaults-file

该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。

--defaults-extra-file

该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。

----defaults-group

该选项表示从配置文件读取的组，innobakcupex多个实例部署时使用。

--no-lock

该选项表示关闭FTWRL的表锁，只有在所有表都是Innodb表并且不关心backup的binlog pos点，如果有任何DDL语句正在执行或者非InnoDB正在更新时（包括mysql库下的表），都不应该使用这个选项，后果是导致备份数据不一致，如果考虑备份因为获得锁失败，可以考虑--safe-slave-backup立刻停止复制线程。

--tmpdir

该选项表示指定--stream的时候，指定临时文件存在哪里，在streaming和拷贝到远程server之前，事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。

--history

该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。

--incremental

该选项表示创建一个增量备份，需要指定--incremental-basedir。

--incremental-basedir

该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录，与--incremental同时使用。

--incremental-dir

该选项表示增量备份的目录。

--incremental-force-scan

该选项表示创建一份增量备份时，强制扫描所有增量备份中的数据页。

--incremental-lsn

该选项表示指定增量备份的LSN，与--incremental选项一起使用。

--incremental-history-name

该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近（innodb_to_lsn）成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex--incremental-history-uuid互斥。如果没有检测到有效的lsn，xtrabackup会返回error。

--close-files

该选项表示关闭不再访问的文件句柄，当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大，这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险，会有产生不一致备份的可能。

--compact

该选项表示创建一份没有辅助索引的紧凑的备份。

--throttle

该选项表示每秒IO操作的次数，只作用于bakcup阶段有效。apply-log和--copy-back不生效不要一起用

--incremental-history-uuid

该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。

5、innobackupex常用语句

压缩备份

innobackupex --defaults-file=/data/mysql57/my3306.cnf --user=root --password=123456 -S /data/mysql57/3306/mysql.sock --compress --compress-threads=8 --no-timestamp --databases="db1 db2" --backup /backup/full

 

#在perpare之前需要decompress，需要安装qpress

innobackupex --decompress /backup/full

 

#打包备份

innobackupex --defaults-file=/data/mysql57/my3306.cnf --user=root --password=123456 -S /data/mysql57/3306/mysql.sock --stream=tar --no-timestamp /backup/full 1>/backup/full_backup.tar

1、正常备份恢复流程

全备数据库

innobackupex --defaults-file=/data/mysql57/my3306.cnf --user=root --password="123456" -S /data/mysql57/3306/mysql.sock --backup /backup/full --no-timestamp

 

模拟数据变化

mysql -S /data/mysql57/3306/mysql.sock -uroot -p123456 -e "create table testdb.tb2(col1 varchar(16));"

mysql -S /data/mysql57/3306/mysql.sock -uroot -p123456 -e "insert into testdb.tb2 values('1'),('2'),('3'),('第一次插入结束');"

 

增量备份

innobackupex --defaults-file=/data/mysql57/my3306.cnf --user=root --password=123456 --socket=/data/mysql57/3306/mysql.sock --no-timestamp --parallel=4 --incremental-basedir=/backup/full --incremental /backup/inc1

 

模拟数据变化

mysql -S /data/mysql57/3306/mysql.sock -uroot -p123456 -e "insert into testdb.tb2 values('4'),('5'),('6'),('第二次插入结束');"

 

基于第一次增量的增量备份

innobackupex --defaults-file=/data/mysql57/my3306.cnf --user=root --password=123456 --socket=/data/mysql57/3306/mysql.sock --no-timestamp --parallel=4 --incremental-basedir=/backup/inc1 --incremental /backup/inc2

 

 

备份恢复prepare阶段

innobackupex --apply-log --redo-only /backup/full ## log-applied阶段

innobackupex --apply-log --redo-only /backup/full --incremental-dir=/backup/inc1

innobackupex --apply-log --redo-only /backup/full --incremental-dir=/backup/inc2

innobackupex --apply-log /backup/full ## full-prepared

 

备份恢复backup阶段

innobackupex --defaults-file=/data/mysql57/my3308.cnf --copy-back /backup/full

 

启动数据库

chown -R mysql:mysql /data/mysql

 

2、部分数据库的备份恢复

只针对部分数据库做备份

innobackupex --defaults-file=/data/mysql57/my3306.cnf --user=root --password=123456 -S /data/mysql57/3306/mysql.sock --no-timestamp --databases="db1 db2" --backup /backup/full

 

innobackupex --defaults-file=/data/mysql57/my3306.cnf --user=root --password=123456 -S /data/mysql57/3306/mysql.sock --no-timestamp --databases="db1 db2" --incremental-basedir=/backup/full --incremental /backup/inc1

 

恢复

innobackupex --apply-log --redo-only /backup/full ## log-applied阶段

innobackupex --apply-log --redo-only /backup/full --incremental-dir=/backup/inc1

innobackupex --apply-log /backup/full ## full-prepared

innobackupex --apply-log --export /backup/full #此时可以通过表空间迁移的方式来恢复表数据

 

注意：SET @@SESSION.SQL_LOG_BIN= 0;需要关闭logbin，且建议恢复到单独库，然后通过mysqldump的方式来恢复，最后通过追加binlog里的SQL恢复到指定时间点，或者过滤掉误操作SQL。

 

mysqlbinlog /data/mysql57/3306/mysql-bin.000003 /data/mysql57/3306/mysql-bin.000004 --start-position=57 > mybinlog.sql

 

3、备份从库搭建从库

备份从库，需要加上--slave-info

innobackupex --defaults-file=/data/mysql57/my3307.cnf --user=root --password=123456 -S /data/mysql57/3307/mysql.sock --no-timestamp --slave-info /backup/full

 

还原从库

innobackupex --apply-log /backup/full

innobackupex --defaults-file=/data/mysql57/my3308.cnf --copy-back /backup/full

 

获取GTID值

cat xtrabackup_slave_info

SET GLOBAL gtid_purged='da0ca821-d453-11e9-9eae-0800279fbeef:1-11, e32e2ec9-d453-11e9-a14e-0800279fbeef:1';

CHANGE MASTER TO MASTER_AUTO_POSITION=1;

 

启动从库，然后设置GTID值

mysql -uroot -p123456 -S ./mysql.sock

SET GLOBAL gtid_purged='da0ca821-d453-11e9-9eae-0800279fbeef:1-11, e32e2ec9-d453-11e9-a14e-0800279fbeef:1';

 

change master to

master_host ='127.0.0.1',

master_port=3306,

master_user='repl',

master_password='password',MASTER_AUTO_POSITION = 1;

 

start slave;

 

主库上执行：show slave hosts; 可以查看当前的从库已经连接进来

4、基于xtrabackup备份搭建GTID从库

4.1恢复数据库文件，修改权限属主，启动mysql

innobackupex --defaults-file=/data/mysql57/my3308.cnf --copy-back /backup/full

chown -R mysql:mysql /data/mysql57/3308

mysqld_safe --defaults-extra-file=/data/mysql57/my3308.cnf --user=mysql &

 

4.2 修改Executed_Gtid_Set值

mysql -uroot -p123456 -S /data/mysql57/3308/mysql.sock ##登录mysql

reset master ; ##刚还原Executed_Gtid_Set存在值，需要修改成xtrabackup_info里的GTID值

show master status \G ##此时Executed_Gtid_Set为空，则可修改该值

SET @MYSQLDUMP_TEMP_LOG_BIN = @@SESSION.SQL_LOG_BIN;

SET @@SESSION.SQL_LOG_BIN= 0;

SET @@GLOBAL.GTID_PURGED='a7fd6da0-bb67-11e9-aab5-0800279fbeef:1-1236'; #对应xtrabackup_info里的GTID

SET @@SESSION.SQL_LOG_BIN = @MYSQLDUMP_TEMP_LOG_BIN;

 

4.3 change命令搭建从库

change master to master_host ='127.0.0.1',master_port=3306,master_user='repl',master_password='123456',MASTER_AUTO_POSITION = 1;

 

4.4 启动从库

start slave;

 

注意:如果不修改Executed_Gtid_Set值，则start slave一般会报错（由于当前从库的GTID值实际比备份里的小，存在重复事务重新应用冲突了），故需要reset master

参考了 https://www.cnblogs.com/zhoujinyi/p/5893333.html