一、物理备份Xtrabackup
#binlog不属于真正意义上的备份
#Xtrabackup属于第三方工具
1.安装
#上传文件包
[root@db03 ~]# rz percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
#下载epel源
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-6.repo
#安装依赖(最好先安装依赖,再解压)
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
#下载Xtrabackup
wget httpss://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
#安装
[root@db03 ~]# yum localinstall -y percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
#安装好后的命令
[root@db03 ~]# xtrabackup
[root@db03 ~]# innobackupex
2.Xtrabackup备份
1)对于非innodb表(比如myisam)是'直接锁表cp数据文件',属于一种'温备'。
2)对于innodb的表(支持事务),'不锁表',cp数据页最终以数据文件方式保存下来,并且把redo(记录数据变化的过程)和undo(是否commit)一并备走,属于'热备'方式。
3)备份时读取配置文件/etc/my.cnf(如果使用Xtrabackup备份,'必须'要配置datadir)
#innodb存储引擎有支持事务,有redo undo的过程,所以,可以不锁表直接备份(热备),总之,支持事务就主持热备
3.Xtrabackup全量备份
1)准备备份目录
[root@db03 ~]# mkdir /backup
2)备份(全备)
[root@db03 ~]# innobackupex --user=root --password=123 /backup/full
[root@db02 backup]# ll full/
total 0
drwxr-x--- 6 root root 212 Jul 23 15:15 2020-07-23_15-14-58
#去掉时间戳进行备份
[root@db03 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full
--no-timestamp :去掉时间戳(为脚本中使用innobackupex时提供便利)
使用xtrabackup软件备份,在配置文件中一定要指定datadir
xtrabackuppex会自动锁表,备份好之后自动解锁
使用innobackupex备份binlog后,binlog最好不要删除
3)查看全备内容
[root@db03 ~]# ll /backup/full/
总用量 129052
-rw-r----- 1 root root 434 7月 23 08:51 backup-my.cnf #配置文件
drwxr-x--- 2 root root 68 7月 23 08:51 dump
-rw-r----- 1 root root 79691776 7月 23 08:51 ibdata1 #共享表空间
-rw-r----- 1 root root 52428800 7月 23 08:51 ibdata2
drwxr-x--- 2 root root 4096 7月 23 08:51 mysql
drwxr-x--- 2 root root 4096 7月 23 08:51 performance_schema
drwxr-x--- 2 root root 68 7月 23 08:51 row
drwxr-x--- 2 root root 20 7月 23 08:51 test
-rw-r----- 1 root root 21 7月 23 08:51 xtrabackup_binlog_info #记录binlog的信息
-rw-r----- 1 root root 113 7月 23 08:51 xtrabackup_checkpoints #记录备份的位置点
-rw-r----- 1 root root 483 7月 23 08:51 xtrabackup_info #工具或数据的信息
-rw-r----- 1 root root 2560 7月 23 08:51 xtrabackup_logfile #redo-log(二进制)
#位置点
[root@db03 full]# cat xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 8417759
[root@db02 backup]# ll /usr/local/mysql/data/
total 112264
-rw-rw---- 1 mysql mysql 56 Jul 23 04:50 auto.cnf #数据库唯一标识符UUID
-rw-rw---- 1 mysql mysql 71925 Jul 23 11:45 db02.err #错误日志
-rw-rw---- 1 mysql mysql 6 Jul 23 11:45 db02.pid
-rw-rw---- 1 mysql mysql 12582912 Jul 23 11:45 ibdata1 #共享表空间(undolog也在这儿)
-rw-rw---- 1 mysql mysql 50331648 Jul 23 11:45 ib_logfile0 #redo log
-rw-rw---- 1 mysql mysql 50331648 Jul 23 04:50 ib_logfile1
drwx------ 2 mysql mysql 4096 Jul 23 04:50 mysql
-rw-rw---- 1 mysql mysql 69408 Jul 23 04:50 mysql-bin.000001
-rw-rw---- 1 mysql mysql 1485584 Jul 23 04:50 mysql-bin.000002
-rw-rw---- 1 mysql mysql 624 Jul 23 11:45 mysql-bin.index
srwxrwxrwx 1 mysql mysql 0 Jul 23 11:45 mysql.socket #
drwx------ 2 mysql mysql 4096 Jul 23 04:50 performance_schema
drwx------ 2 mysql mysql 6 Jul 23 04:50 test
4.Xtrabackup全备恢复数据
1)删除所有数据库
mysql> drop database dump;
mysql> drop database performance_schema;
mysql> drop database row;
mysql> drop database test;
2)停止数据库
[root@db03 ~]# systemctl stop mysqld.service
[root@db02 backup]# /etc/init.d/mysqld stop
Shutting down MySQL.. SUCCESS!
#数据库停掉,数据将不能写入,这是可以避免的(配置mysql主从复制,延时从库,切换主机)(MHA也可以解决)
3)手动 模拟CSR的过程(必须做)
#将redo进行重做,已提交的写到数据文件,未提交的使用undo回滚,模拟CSR的过程,使用以下命令即可
[root@db03 ~]# innobackupex --user=root --password=123 --apply-log /backup/full
--apply-log :重做redo
4)恢复数据(全量恢复)
1>方法一:
#移走原数据目录
[root@db03 mysql]# mv data data.back
#将全备的数据目录迁移回来(redo undo过的)
[root@db03 mysql]# cp -r /backup/full ./data
[root@db03 mysql]# chown -R mysql.mysql data
#启动数据库,查看数据
[root@db02 mysql]# /etc/init.d/mysqld start
Starting MySQL.Logging to '/usr/local/mysql/data/db02.err'.
. SUCCESS!
#在/backup/full 或者/data目录下修改目录或文件即修改了库或表
2>方法二:
#移走原数据目录
[root@db03 mysql]# mv data data.back
#使用innobackupex恢复数据(自带拷贝)
[root@db03 mysql]# innobackupex --copy-back /backup/full/
[root@db03 mysql]# chown -R mysql.mysql data
#启动数据库,查看数据
[root@db03 data]# systemctl start mysqld
[root@db03 data]# mysql -uroot -p123
mysql> show databases;
#不授权的话,数据库都启动不了
5.Xtrabackup增量备份
1.基于上一次备份进行'增量'
2.'增量备份'无法单独恢复,必须'基于全备'进行恢复
3.所有增量'必须要按顺序'合并到全备当中
#增量备份 差异备份,可以节约磁盘空间
1)先全备(innoDB存储引擎不用关闭数据库)
[root@db03 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full_$(date +%F)
2)写入新数据
[root@db03 ~]# mysql -uroot -p123
mysql> use dump
mysql> insert dump values(10000),(20000),(30000);
3)第一次增备
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full_2020-07-23 /backup/inc1
参数说明:
--no-timestamp:省略时间戳
--incremental:开启增量备份功能
--incremental-basedir:'上一次备份'的路径
full_2020-07-23在前
#验证
[root@db03 ~]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 8417759
[root@db03 ~]# cat /backup/inc1/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 8417759
to_lsn = 8419281
4)再次写入数据
[root@db03 ~]# mysql -uroot -p123
mysql> use dump
mysql> insert dump values(100000),(200000),(300000);
5)第二次增备
[root@db03 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1/ /backup/inc2
#验证
[root@db03 backup]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 1636167
[root@db03 backup]# cat /backup/inc1/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1636167
to_lsn = 1640828
[root@db03 backup]# cat /backup/inc2/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1640828
to_lsn = 1645877
6)再次写入数据
7)第三次增量备份
[root@db03 backup]# innobackupex --user=root --no-timestamp --incremental --incremental-basedir=/backup/inc2 /backup/inc3
6.Xtrabackup增量恢复数据
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| dump |
| mysql |
| performance_schema |
| test |
| xs |
+--------------------+
mysql> drop database xs;
[root@db02 backup]# /etc/init.d/mysqld stop
1)将全备执行redo
[root@db03 backup]# innobackupex --apply-log --redo-only /backup/full_2020-07-23
#只有第一次全备需执行(--apply-log ),(相当于binlog里的begin和commit)
#没有执行undo的数据将回滚
2)将第一次增备只执行redo并,合并到第一次全备
[root@db03 backup]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc1/ /backup/full_2020-07-23
#验证
[root@db03 backup]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = log-applied
from_lsn = 0
to_lsn = 1640828 #该值本来是inc1的位置点
/inc1/'在前'
通过查看/backup/full_2020-07-23/xtrabackup_checkpoints 中的位置点来判断合并的过程(语法错误需要重新执行合并语句)
全量备份+增量备份,增量备份之前的数据将会有少量的丢失
3)将第二次增备只执行redo并合并到第一次全备
[root@db03 backup]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc2/ /backup/full_2020-07-23
#验证
[root@db03 backup]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = log-applied
from_lsn = 0
to_lsn = 1645877 #该值本来是inc2的位置点
4)将最后一次增备执行redo和undo并合并到第一次全备
[root@db03 backup]# innobackupex --apply-log --incremental-dir=/backup/inc3/ /backup/full_2020-07-23
#验证
[root@db03 backup]#
[root@db03 backup]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 1649869
5)将整体数据进行一次CSR
[root@db03 backup]# innobackupex --apply-log /backup/full_2020-07-23/
[root@db02 backup]# cat full_2020-07-23/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 1649869
last_lsn = 1649869
compact = 0
recover_binlog_info = 0
6)恢复数据
[root@db03 mysql]# mv data data.bak
[root@db03 mysql]# innobackupex --copy-back /backup/full_2020-07-23/
[root@db03 mysql]# chown -R mysql.mysql data
[root@db03 mysql]# systemctl start mysqld
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| dump |
| mysql |
| performance_schema |
| test |
| xs | #数据恢复
+--------------------+
7.总结
1.增备:
优点:占用磁盘空间小,没有重复数据
缺点:恢复麻烦
2.全备:
优点:恢复只需一次
缺点:占用磁盘空间,每次全备都有重复数据
思考
企业级增量恢复实战
背景:
某大型网站,mysql数据库,数据量500G,每日更新量100M-200M
备份策略:
xtrabackup,每周六0:00进行全备,周一到周五及周日00:00进行增量备份。
故障场景:
周三下午2点出现数据库意外删除表操作。