1.DBA（运维）在备份恢复方面需要做哪些工作

1.1 设计备份策略

1.1.1 备份周期

天，周，月

1.1.2 备份方式

全备，增量....

1.1.3 备份什么？

数据
日志

1.1.4 备份类型

冷备，温备，热备

1.1.5 备份工具

mysqldump
XBK(xtrabackup)
主从(replication)
mysqlbinlog

1.2 检查备份

备份文件大小
备份内容头部

1.3 定期数据恢复演练

正常恢复到测试库
模拟故障恢复

1.4 快速，完整故障恢复

1.5 升级、迁移工作

2 备份的类型（笔试）

2.1 冷备

业务停止或数据库关闭，进行备份，一致性最好，业务影响最大

2.2 温备 warm backuo

锁表备份。只读备份，阻塞所有的变更操作，只能读。

2.3热备 hot backup

不锁表备份，只能针对事务型引擎的表（例如：InnoDB）

3 备份工具

3.1 mysqldump ：MDP

逻辑备份工具，
文本格式，压缩比比较高
备份出来都是SQL，
可读性较强，
便于二次处理
劣势：
相对较慢：从磁盘调取数据--->内存--->转换SQL--->xx,sql
不能做增量备份

3.2 Xtrabackup（percona）XBK，PBK

物理备份工具，备份的数据文件（类似cp），
优势：
备份速度快
支持热备
自带了增量备份功能

劣势：
需要安装
可读性比较差
不便于处理
压缩比低

3.3 选择建议

小于100G ：MDP,XBK
100G - 1T :XBK
超过TB级别： XBK , MDB

4. 备份策略

备份方式：
全备:全库备份，备份所有数据
增量:备份变化的数据

逻辑备份=mysqldump+binlog
物理备份
XBK_full+xbk_inc+binlog
或者
xtrabackup_full+binlog

备份周期:
根据数据量设计备份周期
比如：周日全备，周1-周6增量

5 mysqldump 逻辑备份工具使用

5.1 客户端通用的参数

-u
-p
-h
-P
-S
5.2 基础备份参数
-A 全库备份
[root@db01 ~]# mysqldump -uroot -p123 -A > /backup/full.sql
-B 单库或多库备份
例子: 只备份world和test两个可以
[root@db01 ~]# mysqldump -uroot -p123 -B world test >/backup/db.sql
单表或多表备份

image.png

5.3 特殊功能参数

（1）-R --triggers -E 数据库特殊对象备份参数
-R 存储过程，函数
--triggers 触发器
-E 事件
(2) --master-data=2
1. 以注释形式,记录备份时binlog文件名和position号(截取二进制日志的起点)
2. 自动锁表功能,加--single-transaction ,减少锁表.
3. 自动解锁

[root@db01 ~]# mysqldump -uroot -p123 -A --master-data=2 --single-transaction -R -E --triggers --set-gtid-purged=OFF --max-allowed-packet=256M > /backup/full.sql

案例

1. 企业故障恢复案例(MDP)

1.1 背景环境：

正在运行的小型网站系统，mysql-5.7.20 数据库，数据量50G.
每天23:00点，计划任务调用mysqldump执行全备脚本
[root@db01 /backup]# mysqldump -uroot -p123 -A -E -R --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF --max-allowed-packet=256M |gzip > /backup/full_$(date +%F).sql.gz

1.3 故障时间点：

年底故障演练:模拟周三上午10点误删除数据库，并进行恢复.

1.4 恢复思路

(1) 停止故障业务,挂维护页.
(2) 准备测试库,进行全库恢复
(3) 截取从全备开始一直到故障时刻的binlog
(4) 测试数据可用和完整性
(5) 将故障数据导出,导入到生产
(6) 撤维护页,开启业务.

1.5 演练

1.5.1 故障现场模拟

(1) 模拟数据
oldguo[(none)]>create database mdp charset utf8mb4;
oldguo[(none)]>use mdp
oldguo[mdp]>create table t1(id int) engine=innodb charset=utf8mb4;
oldguo[mdp]>insert into t1 values(1),(2),(3);
oldguo[mdp]>commit;
(2) 模拟晚上23:00全备
mysqldump -uroot -p123 -A -E -R --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF --max-allowed-packet=256M |gzip > /backup/full_$(date +%F).sql.gz

(3)模拟备份后数据变化
oldguo[(none)]>use mdp
oldguo[mdp]>insert into t1 values(11),(12),(13);
oldguo[mdp]>commit;

(4) 搞破坏
oldguo[mdp]>drop database mdp;

1.5.2 恢复故障

(1) 停止故障业务,挂维护页.
略.
略.
(2) 准备备份
全备准备:
[root@db01 /backup]# gunzip full_2019-08-16.sql.gz

binlog准备:
vim full_2019-08-16.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=929;

| mysql-bin.000001 | 1255 | Query | 6 | 1344 | drop database mdp

mysqlbinlog --skip-gtids --start-position=929 --stop-position=1255 /data/binlog/mysql-bin.000001 >/backup/binlog.sql

(3) 进行恢复
oldguo[mdp]>set sql_log_bin=0;
oldguo[mdp]>source /backup/full_2019-08-16.sql
oldguo[mdp]>source /backup/binlog.sql

2 XBK（percona-Xtrabackup)

2.1 安装

2.2 介绍

物理备份工具，类似于cp数据

2.3 备份细节

非InnoDB : 例如：MyISAM，自动锁表备份，会有短暂的全局锁，备份完成后自动解锁

InnoDB：

1.立即进行CKPT,将当前所有的已提交事务的脏页，立即刷写到磁盘上（to_lsn = 234235703）。
2.拷贝所有InnoDB的数据文件，系统数据文件也进行拷贝。
3.将备份过程中产生的redo截取并备份走（last_lsn = 234235712）。

2.4 innobackupex 备份应用

2.4.1 配置文件设置:

[client]
socket=/tmp/mysql.sock

2.4.2 全备

[root@db01 /backup]# innobackupex --user=root --password=123 /backup/xbk
[root@db01 /backup]# innobackupex --user=root --password=123 --no-timestamp /backup/xbk/full

2.4.3 搞破坏,全备恢复

[root@db01 ~]# pkill mysqld
[root@db01 ~]# \rm -rf /data/3306/data/*

2.4.4 数据恢复准备(备份处理)

--apply-log
[root@db01 /backup/xbk/full]# innobackupex --apply-log /backup/xbk/full/

2.4.5 恢复数据

--copy-back (依赖于my.cnf [mysqld]的配置)
[root@db01 ~]# innobackupex --copy-back /backup/xbk/full/
[root@db01 /data/3306/data]# chown -R mysql.mysql /data/*

2.4.6 --apply-log 参数说明(面试重点)

模仿了InnoDB引擎的ACSR的过程
将备份集中的数据和日志的LSN追平
利用redo进行前滚
利用undo进行回滚

3. XBK增量(incremental)备份

3.1 清除以往备份

[root@db01 /backup/xbk]# \rm -rf /backup/xbk/*

3.2 模拟数据

oldguo[(none)]>create database xbk charset utf8mb4;
oldguo[(none)]>use xbk
oldguo[xbk]>create table t1(id int) engine=innodb charset=utf8mb4;
oldguo[xbk]>insert into t1 values(1),(2),(3);
oldguo[xbk]>commit;

3.3 模拟周日全备

[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/xbk/full

3.4 模拟周一的数据变化

oldguo[xbk]>insert into t1 values(11),(22),(33);
oldguo[xbk]>commit;

3.5 模拟周一晚上增量备份

[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/xbk/full /backup/xbk/inc1

3.6 模拟周二白天的数据变化

oldguo[xbk]>use xbk;
oldguo[xbk]>insert into t1 values(111),(222),(333);
oldguo[xbk]>commit;

3.8 模拟周三白天数据变化

oldguo[xbk]>use xbk;
oldguo[xbk]>insert into t1 values(1111),(2222),(3333);
oldguo[xbk]>commit;

3.9 搞破坏

[root@db01 /backup/xbk]# pkill mysqld
[root@db01 /backup/xbk]# \rm -rf /data/3306/data/*

3.11 开始恢复演练

3.11.1 处理备份:

(1) 处理原始全备
[root@db01 ~]# innobackupex --apply-log --redo-only /backup/xbk/full/
(2) 合并周1并处理
[root@db01 ~]# innobackupex --apply-log --redo-only --incremental-dir=/backup/xbk/inc1 /backup/xbk/full
(3) 合并周2并处理
[root@db01 ~]# innobackupex --apply-log --incremental-dir=/backup/xbk/inc2 /backup/xbk/full
(4)处理合并后全备数据
[root@db01 ~]# innobackupex --apply-log /backup/xbk/full/

3.11.2 恢复备份启动数据库

[root@db01 /backup/xbk/full]# cp -a /backup/xbk/full/* /data/3306/data/
[root@db01 /backup/xbk/full]# chown -R mysql. /data/3306/data/

3.11.3 截取binlog

[root@db01 /backup/xbk/inc2]# cat /backup/xbk/inc2/xtrabackup_binlog_info
mysql-bin.000004 1339

oldguo[(none)]>show binlog events in 'mysql-bin.000004';
| mysql-bin.000004 | 1569 | Xid | 6 | 1600 | COMMIT /* xid=68 */
[root@db01 ~]# mysqlbinlog --skip-gtids --start-position=1339 --stop-position=1600 /data/binlog/mysql-bin.000004 >/backup/bin.sql
oldguo[(none)]>set sql_log_bin=0;
oldguo[(none)]>source /backup/bin.sql

4. 恢复数据的效率

整库数据量较大 ,但是损坏的数据很少
例如 : 500G数据总量, 损坏的数据是10M
XBK: 表空间迁移

MDP:
手工分析
1、获得表结构
sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE city/!d;q' /tmp/full.sql>createtable.sql
2、获得INSERT INTO 语句，用于数据的恢复
grep -i 'INSERT INTO city' /tmp/full.sqll >data.sql

3.获取单库的备份
sed -n '/^-- Current Database: world/,/^-- Current Database: `/p' all.sql >world.sql

5. 小扩展: 闪回表数据(binlog闪回)

数据损坏:
物理: 磁盘,raid ,FS ,ibd
逻辑: drop, alter, delete ,update

说明: 根据 binlog row的记录,自动转化日志为逆操作,实现闪回的功能.

mariadb 默认支持
binlog2sql

备份恢复