Xtrabackup 安装以及 mysql 使用 Xtrabackup 物理备份过程记录
一、环境：
Linux：CentOS Linux release 7.5.1804 (Core)
Mysql：5.7.20
Xtrabackup：2.4.9
linux查看版本当前操作系统发行信息 cat /etc/issue 或 cat /etc/centos-release
二、介绍
Xtrabackup 是一个对 InnoDB 做数据备份的工具，支持在线热备份（备份时不影响数据读写），是商业备份工具 InnoDB Hotbackup 的一个很好的替代品。它能对 InnoDB 和 XtraDB 存储引擎的数据库非阻塞地备份（对于 MyISAM 的备份同样需要加表锁）。XtraBackup 支持所有的 Percona Server、MySQL、MariaDB 和 Drizzle。
xtrabackup 有两个主要的工具：xtrabackup、innobackupex
(1).xtrabackup只能备份InnoDB和XtraDB 两种数据表
(2).innobackupex则封装了xtrabackup,同时可以备份MyISAM数据表
Innobackupex完整备份后生成了几个重要的文件：
xtrabackup_binlog_info：记录当前最新的LOG Position
xtrabackup_binlog_pos_innodb:innodb log postion
xtrabackup_checkpoints: 存放备份的起始位置beginlsn和结束位置endlsn,增量备份需要这个lsn[增量备份可以在这里面看from和to两个值的变化]
Xtrabackup特点：
(1)备份过程快速、可靠
(2)备份过程不会打断正在执行的事务
(3)能够基于压缩等功能节约磁盘空间和流量
(4)自动实现备份检验
(5)还原速度快
三、安装
- 下载
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.9/binary/redhat/6/x86_64/Percona-XtraBackup-2.4.9-ra467167cdd4-el6-x86_64-bundle.tar
- 解压
tar xf Percona-XtraBackup-2.4.9-ra467167cdd4-el6-x86_64-bundle.tar
- 安装
yum install percona-xtrabackup-24-2.4.9-1.el6.x86_64.rpm -y
# 查看版本
innobackupex -v
# 位置
which xtrabackup
安装完之后会生成几个工具：http://www.percona.com/doc/percona-xtrabackup/2.1/manual.html
innobackupex：这个是其实是下面三个工具的一个perl脚本封装，可以备份MyISAM, InnoDB, XtraDB表。但在处理Myisam时需要加一个读锁。
xtrabackup：一个由C编译而来的二进制文件，只能备份InnoDB和XtraDB数据。
xbcrypt：用来加密或解密备份的数据。
xbstream：用来解压或压缩xbstream格式的压缩文件。
innobackupex ：
xtrabackup命令只备份数据文件,并不备份数据表结构(.frm)，所以使用xtrabackup恢复的时候必须有对应表结构文件(.frm)。用innobackupex命令，此命令相当于冷备份，复制数据目录的索引，数据，结构文件，但会有短暂的锁表（时间依赖于MyISAM大小）。
四、使用
- Xtrabackup 普通全量备份、还原
# 备份所有数据库：备份目录里生成日期命名的文件夹
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --backup /home/xtrabackup/
# 还原
1.先 prepare ，利用 --apply-log 的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态
innobackupex --apply-log /home/xtrabackup/2016-09-23_10-53-51/
2.copy：需要数据目录为空
innobackupex --defaults-file=/etc/mysql/my.cnf --copy-back /home/xtrabackup/2016-09-23_10-53-51/
3.改权限
++++++++++++++++++
# 备份所有数据库：指定备份目录
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test--password=123 --no-timestamp /home/xtrabackup/
# 还原同上
++++++++++++++++++
# 备份指定数据库名，多个数据库用空格分开
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --no-timestamp --databases="dba_test xtra_test" /home/xtrabackup/
# 还原
1.先 prepare，利用 --apply-log 的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态
innobackupex --apply-log /home/xtrabackup/
2.copy，因为是部分备份，不能直接用 --copy-back，只能手动来复制需要的库，也要复制 ibdata (数据字典）
cp -r dba_test/ /var/lib/mysql/
cp -r xtrabackup/dba_test/ /var/lib/mysql
3.改权限
++++++++++++++++++
# 备份指定表
1：备份不同库下的不同表
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --no-timestamp --databases="dba_test.tb1 xtra_test.M" /home/xtrabackup/
2：备份一个库下面的表，支持正则，如：--include='^mydatabase[.]mytable'
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --no-timestamp --include='xtra_test.I' /home/xtrabackup/
3：备份指定文件里的表，文件里每行的格式是：dbname.tbname
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --no-timestamp --tables-file=/tmp/tbname.txt /home/xtrabackup/
# 还原
同指定数据库还原一样，需要还原 ibdata。注意，还原的时候可以这样还原：
innobackupex --apply-log --export xtrabackup/
生成如下几个文件：
-rw-r--r-- 1 root root 425 9月 23 17:16 I.cfg
-rw-r----- 1 root root 16K 9月 23 17:16 I.exp
-rw-r----- 1 root root 8.4K 9月 23 17:15 I.frm
-rw-r----- 1 root root 96K 9月 23 17:15 I.ibd
然后：
alter table I discard tablespace;
将I.exp和I文件传到目标机目标目录中执行:
alter table I import tablespace;
文章结尾附全部参数说明
- 普通增量备份、还原
# 全量备份，这里举例单个表，也可以是指定几个库，甚至所有库
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --no-timestamp --databases="xtra_test.I" /home/xtrabackup/
# 增量备份1
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --no-timestamp --databases="xtra_test.I" --incremental-basedir=/home/xtrabackup/ --incremental /home/increment_data/
# 增量备份2
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --no-timestamp --databases="xtra_test.I" --incremental-basedir=/home/increment_data/ --incremental /home/increment_data1/
####信息####
通过上面三个目录里的 xtrabackup_checkpoints 文件，可以看出是哪种备份类型，全量（full-backuped）还是增量（incremental）。并且全量到增量的 from_lsn 和 last_lsn 是一一对应的。
在第2次做增量备份的时候 --incremental-basedir 指向全量备份，则第一次增量备份中的数据会被第2次包含，只需要还原一次就可以恢复，现在则需要还原2次增量备份。
##########
# 还原
1.先 prepare 全备
innobackupex --incremental --apply-log --redo-only /home/xtrabackup
2.再 prepare 第一个增量
innobackupex --incremental --apply-log --redo-only /home/xtrabackup/ --user-memory=1G --incremental-dir=/home/increment_data/
3.然后 prepare 最后一个增量
innobackupex --incremental --apply-log --redo-only /home/xtrabackup/ --user-memory=1G --incremental-dir=/home/increment_data1/
通过上面额可以看到全量备份里 xtrabackup_checkpoints 文件的 to_lsn 是最新的 lsn。
4.最后再 prepare 全量备份
innobackupex --apply-log /home/zhoujy/xtrabackup/
5.copy
因为是部分备份，不是所有库备份，所以和上面介绍的一样，先手动复制需要的文件再修改权限即可恢复数据。
- 打包压缩备份（注意：–compress 不能和 --stream=tar 一起使用）
# 压缩备份
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --compress --compress-threads=8 --no-timestamp --databases="xtra_test.I" /home/xtrabackup/
# 在 perpare 之前需要 decompress，需要安装 qpress
innobackupex --decompress /home/zhoujy/xtrabackup/
# prepare
innobackupex --apply-log /home/zhoujy/xtrabackup/
最后还原方法和上面一致
# 打包备份
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --stream=tar --no-timestamp --databases="xtra_test" /home/xtrabackup/ 1>/home/xtrabackup/xtra_test.tar
# 解包
tar ixvf xtra_test.tar
最后还原方法和上面一致
# 第三方压缩备份：
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --compress --compress-threads=8 --parallel=4 --stream=tar --no-timestamp --databases="xtra_test" /home/xtrabackup/ | gzip >/home/xtrabackup/xtra_test.tar.gz
# prepare之前先解压
tar izxvf xtra_test.tar.gz
# prepare
innobackupex --apply-log /home/xtrabackup/
- 加密备份
说明：在参数说明里看到加密备份的几个参数：--encrypt、--encrypt-threads、--encrypt-key、--encryption-key-file。其中 encrypt-key 和 encryption-key-file 不能一起使用，encryption-key 需要把加密的密码写到命令行，不推荐。
# 加密备份：
先生成 key:
openssl rand -base64 24
把 Key 写到文件：
echo -n "Ue2Wp6dIDWszpI76HQ1u57exyjAdHpRO" > keyfile
最后备份：
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --compress --compress-threads=3 --no-timestamp --encrypt=AES256 --encrypt-key-file=/home/keyfile ----encrypt-threads=3 --parallel=5 /home/xtrabackup2/
# 解密：
for i in `find . -iname "*\.xbcrypt"`; do xbcrypt -d --encrypt-key-file=/home/keyfile --encrypt-algo=AES256 < $i > $(dirname $i)/$(basename $i .xbcrypt) && rm $i; done
# 解压：
innobackupex --decompress /home/xtrabackup2/
# prepare：
innobackupex --apply-log /home/xtrabackup2/
# 还原copy
innobackupex --defaults-file=/etc/mysql/my.cnf --move-back /home/xtrabackup2/
- 复制环境中的备份：一般生产环境大部分都是主从模式，主提供服务，从提供备份。
# 备份 5 个线程备份 2 个数据库，并且文件 xtrabackup_slave_info 记录 GTID 和 change 的信息
innobackupex --defaults-file=/etc/mysql/my.cnf --user=test --password=123 --no-timestamp --slave-info --safe-slave-backup --parallel=5 --databases='xtra_test dba_test' /home/xtrabackup/
# 还原
还原方法同上
- innobackupex参数说明（innobackupex --help ）：
innobackupex [--compress] [--compress-threads=NUMBER-OF-THREADS] [--compress-chunk-size=CHUNK-SIZE]
[--encrypt=ENCRYPTION-ALGORITHM] [--encrypt-threads=NUMBER-OF-THREADS] [--encrypt-chunk-size=CHUNK-SIZE]
[--encrypt-key=LITERAL-ENCRYPTION-KEY] | [--encryption-key-file=MY.KEY]
[--include=REGEXP] [--user=NAME]
[--password=WORD] [--port=PORT] [--socket=SOCKET]
[--no-timestamp] [--ibbackup=IBBACKUP-BINARY]
[--slave-info] [--galera-info] [--stream=tar|xbstream]
[--defaults-file=MY.CNF] [--defaults-group=GROUP-NAME]
[--databases=LIST] [--no-lock]
[--tmpdir=DIRECTORY] [--tables-file=FILE]
[--history=NAME]
[--incremental] [--incremental-basedir]
[--incremental-dir] [--incremental-force-scan] [--incremental-lsn]
[--incremental-history-name=NAME] [--incremental-history-uuid=UUID]
[--close-files] [--compact]
BACKUP-ROOT-DIR
--compress：该选项表示压缩innodb数据文件的备份。
--compress-threads：该选项表示并行压缩worker线程的数量。
--compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。
--encrypt：该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。
--encrypt-threads：该选项表示并行加密的worker线程数量。
--encrypt-chunk-size：该选项表示每个加密线程worker buffer的大小，单位是字节，默认是64K。
--encrypt-key：该选项使用合适长度加密key，因为会记录到命令行，所以不推荐使用。
--encryption-key-file：该选项表示文件必须是一个简单二进制或者文本文件，加密key可通过以下命令行命令生成：openssl rand -base64 24。
--include：该选项表示使用正则表达式匹配表的名字[db.tb]，要求为其指定匹配要备份的表的完整名称，即databasename.tablename。
--user：该选项表示备份账号。
--password：该选项表示备份的密码。
--port：该选项表示备份数据库的端口。
--host：该选项表示备份数据库的地址。
--databases：该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如："xtra_test dba_test"，同时，在指定某数据库时，也可以只指定其中的某张表。如："mydatabase.mytable"。该选项对innodb引擎表无效，还是会备份所有innodb表。此外，此选项也可以接受一个文件为参数，文件中每一行为一个要备份的对象。
--tables-file：该选项表示指定含有表列表的文件，格式为database.table，该选项直接传给--tables-file。
--socket：该选项表示mysql.sock所在位置，以便备份进程登录mysql。
--no-timestamp：该选项可以表示不要创建一个时间戳目录来存储备份，指定到自己想要的备份文件夹。
--ibbackup：该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录，如果指定了该选项,innoabackupex自动决定用的二进制程序。
--slave-info：该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。
--safe-slave-backup：该选项表示为保证一致性复制状态，这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份，如果没有打开临时表，bakcup会立刻开始，否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在--safe-slave-backup-timeount（默认300秒）秒之后不为0，从库sql线程会在备份完成的时候重启。
--rsync：该选项表示通过rsync工具优化本地传输，当指定这个选项，innobackupex使用rsync拷贝非Innodb文件而替换cp，当有很多DB和表的时候会快很多，不能--stream一起使用。
--kill-long-queries-timeout：该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0，不会kill任何查询，使用这个选项xtrabackup需要有Process和super权限。
--kill-long-query-type：该选项表示kill的类型，默认是all，可选select。
--ftwrl-wait-threshold：该选项表示检测到长查询，单位是秒，表示长查询的阈值。
--ftwrl-wait-query-type：该选项表示获得全局锁之前允许那种查询完成，默认是ALL，可选update。
--galera-info：该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。
--stream：该选项表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。
--defaults-file：该选项指定了从哪个文件读取MySQL配置，必须放在命令行第一个选项的位置。
--defaults-extra-file：该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。
----defaults-group：该选项表示从配置文件读取的组，innobakcupex多个实例部署时使用。
--no-lock：该选项表示关闭FTWRL的表锁，只有在所有表都是Innodb表并且不关心backup的binlog pos点，如果有任何DDL语句正在执行或者非InnoDB正在更新时（包括mysql库下的表），都不应该使用这个选项，后果是导致备份数据不一致，如果考虑备份因为获得锁失败，可以考虑--safe-slave-backup立刻停止复制线程。
--tmpdir：该选项表示指定--stream的时候，指定临时文件存在哪里，在streaming和拷贝到远程server之前，事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候，你的xtrabackup_logfile可能会临时放在/tmp目录下，如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+)，很可能会撑满你的/tmp目录，可以通过参数--tmpdir指定目录来解决这个问题。
--history：该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。
--incremental：该选项表示创建一个增量备份，需要指定--incremental-basedir。
--incremental-basedir：该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录，与--incremental同时使用。
--incremental-dir：该选项表示增量备份的目录。
--incremental-force-scan：该选项表示创建一份增量备份时，强制扫描所有增量备份中的数据页。
--incremental-lsn：该选项表示指定增量备份的LSN，与--incremental选项一起使用。
--incremental-history-name：该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近（innodb_to_lsn）成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex--incremental-history-uuid互斥。如果没有检测到有效的lsn，xtrabackup会返回error。
--incremental-history-uuid：该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。
--close-files：该选项表示关闭不再访问的文件句柄，当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大，这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险，会有产生不一致备份的可能。
--compact：该选项表示创建一份没有辅助索引的紧凑的备份。
--throttle：该选项表示每秒IO操作的次数，只作用于bakcup阶段有效。apply-log和--copy-back不生效不要一起用。
关于更多的 innobackupex 的备份可以看 官方文档 和 xtrabackup 安装使用，参数可以参考本文上面的介绍说明，通过上面的几个说明看到 innobackupex 可以实现：全量、增量、压缩、打包、加密备份，并且支持多线程的备份，并且也提供了长查询超过阀值自动kill的方法，大大提升备份效率。
参考：
https://www.cnblogs.com/youkanyouxiao/p/8335173.html
http://www.cnblogs.com/zhoujinyi/p/4088866.html
https://www.cnblogs.com/zhoujinyi/p/5893333.html