mysql-备份恢复

运维人员在备份恢复方面的职责
1.1 设计备份策略

(1) 备份内容: 数据,二进制日志  
(2) 数据容量: 大小
(3) 备份周期: 
    1. 每天全备
    2. 周期全备+增量备份
    3. 周期全备+日志备份
(4) 备份时间: 晚上备份
(5) 备份目标位置

1.2 日常备份检查

日志 , 备份的内容,备份大小

1.3 定期恢复演练

我们建议,每半年做一次.

1.4 故障时的恢复

快速准确恢复数据.

1.5 平台数据迁移

同构平台
异构平台

备份工具介绍
2.1 介绍

mysqldump (MDP)
Percona Xtrabackup(xbk,pbk,pxb)

2.2 区别

MDP : 逻辑备份,SQL文件,文本形式,可读性高,便于处理,压缩比高,备份相对较慢 ,比较适合于100G以内的备份 .
100G   30-40 Min        
xbk : 物理备份,数据文件,可读性较低,压缩比低,备份相对较快,比较适合于100G以内的备份 .
100G   10min
600G  50min 

100 PB   ---拆分数据库--->  MDP   ---压缩->

mysqldump
3.1 备份逻辑

将磁盘数据,加载到临时表,转换为SQL(建库,建表,插入语句)

3.2 核心参数

(1) 连接参数
本地: -u  -p  -S 
远程: -u  -p  -H  -P 

(2) 备份参数
[root@db01 ~]# mkdir -p /data/backup 
[root@db01 ~]# chown -R mysql.mysql /data

-- 基础参数

-- 1. 全备参数 
[root@db01 ~]# mysqldump -uroot -p123 -A >/data/backup/full.sql

-- 2. 单库或多库备份 
[root@db01 ~]# mysqldump -uroot -p123 -B bgx oldboy test world mysql > /data/backup/db.sql

-- 3. 单表或多表备份 
[root@db01 ~]# mysqldump -uroot -p123 world city country >/data/backup/tab.sql

-- 4. 只导出建表语句
[root@db01 ~]# mysqldump -uroot -p123 world city country   --no-data >/data/backup/tab1.sql

-- 高级参数
-- 5. --master-data=2 ******

(1) 自动记录备份时的binlog filename 及pos
(2) 自动加锁和解锁
(3) 加了--single-transaction , 会有不一样的效果( global read lock is only taken a short time )

mysqldump -uroot -p123 -A --master-data=2 >/data/backup/full.sql

备份的结果:
30 -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=1162;

-- 6. --single-transaction ******

开启独立事务,备份InnoDB表的一致性快照.实现InnoDB表的热备功能.
mysqldump -uroot -p123 -A --master-data=2  --single-transaction  >/data/backup/full.sql 

补充:   ******
对于非InnoDB表(FTWRL,Flush tables with read lock),对于mysql库下的系统表备份的时候,会加global read lock

-- 7. 特殊的数据库对象

-R         存储过程和函数
--triggers 触发器
-E         事件 
mysqldump -uroot -p -A --master-data=2  --single-transaction -R  --triggers -E   >/data/backup/full.sql

-- 8. --max_allowed_packet=128M

1153 - Got a packet bigger than 'max_allowed_packet' bytes 
出现场景: 在数据库有超大比表时,需要加此的参数.

-- 9. 终极备份语句

mysqldump -uroot -p -A --master-data=2  --single-transaction -R  --triggers -E  --max_allowed_packet=128M  |gzip >/data/backup/full_`date +%F`.sql.gz

3.3 模拟故障和恢复(mysqldump 全备+ binlog)

(1) 模拟原始数据 
create database mdp charset utf8mb4;
use mdp
create table t1 (id int);
create table t2 (id int);
create table t3 (id int);
insert into t1 values(1);
commit;
insert into t2 values(1);
commit;
insert into t3 values(1);
commit;

(2) 模拟全备

mysqldump -uroot -p -A --master-data=2  --single-transaction -R  --triggers -E  --max_allowed_packet=128M  |gzip >/data/backup/full_`date +%F`.sql.gz

(3) 模拟新的数据

use mdp
insert into t1 values(2);
commit;
insert into t2 values(2);
commit;
insert into t3 values(2);
commit;

(4) 搞破坏

drop database mdp;

(5) 恢复思路

 -- 1. 挂维护页
 -- 2. 找测试库
 -- 3. 准备备份
    full
    截取binlog部分
 -- 4. 恢复全备+binlog到测试库 , 业务测试.
 -- 5. 导出故障库数据,恢复到生产 .
 -- 6. 撤维护页.

恢复过程:

准备备份

vim /data/backup/full_2019-12-26.sql
第30行: 
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=2570;

截取二进制日志

-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=2570;
起点 :  2570

mysql> show binlog events in 'mysql-bin.000003';
| mysql-bin.000003 | 3388 | Query          |         6 |        3477 | drop database mdp     
终点 : 3388


mysqlbinlog --skip-gtids --start-position=2570 --stop-position=3388 /data/mysql/binlog_3306/mysql-bin.000003 >/data/backup/bin.sql

恢复备份

set sql_log_bin=0;
source /data/backup/full_2019-12-26.sql
source /data/backup/bin.sql
set sql_log_bin=1;

检查数据

mysql> show tables;
mysql> select * from t1;
mysql> select * from t2;
mysql> select * from t3;

扩展: 从全备中提取单库单表的数据进行恢复
1、获得表结构

# sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q'  full.sql>createtable.sql

2、获得INSERT INTO 语句，用于数据的恢复

# grep -i 'INSERT INTO `city`'  full.sqll >data.sql &

3.获取单库的备份

# sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql

总结：

1. 日志管理
1.1 log_error
log_error=/data/mysql/data/mysql.log
[ERROR]
1.2 binlog 
配置:
log_bin=/data/mysql/binlog/mysql-bin 
server_id=6
binlog_format=row
    RBR:row 
    SBR:statement
    MBR:mixed
sync_binlog=1

截取日志:
show master status ;
show binlog events in ''
mysql -e "show binlog events in ''" |grep -C 5 "drop"
mysqlbinlog --start-position  --stop-position xxxx.000001  > /tmp/bin.log 
mysqlbinlog --start-position  --stop-position -d world xxxx.000001  > /tmp/bin.log 
mysqlbinlog --start-datetime  --stop-datetime     xxxx.000001  > /tmp/bin.log 
mysqlbinlog --skip-gtids --include-gtids='xxxxx:1-3','xxxxx:5-6'   xxxx.000001  > /tmp/bin.log 
--exclude-gtids='xxxxx:4'

1.3 slow 
配置 : 
slow_query_log
slow_query_log_file
long_query_time
log_queries_not_using_indexes

分析 :
mysqldumpslow -s c  -t 10  xxxxx
explain  index  
锁


2. 备份恢复
mysqldump -uroot -p123 -A  --master-data=2  --single-transaction -R -E  --triggers --max_allowed_packet=64M >/tmp/full.sql
--master-data=2  
--single-transaction

Percona Xtrabackup (物理)

安装
1.1 安装依赖包：

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev

1.2 下载软件并安装

wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm

yum -y install percona-xtrabackup-*.rpm

2、备份命令介绍:

xtrabackup
innobackupex    ******

备份恢复方式——物理备份
备份流程:

-- INNODB 
(1) 进行 checkpoint,将内存已经提交事务的脏页,刷新到磁盘ibd文件,并且 记录LSN .
(2) 拷贝InnoDB数据(ibd,frm,ibdata1)文件到预定的备份路径.

-- NO-INNODB
(1) FLUSH TABLE WITH READ LOCK(FTWRL) Global READ LOCK
(2) 拷贝非InnoDB表各种数据 
(3) 解锁
-- REDO
自动将备份期间的redo变化保存下来.并记录全新的LSN号码.

恢复流程:

    1. prepare  准备过程
      (1) redo将变化前滚 
      (2) Undo将未提交的事务进行回滚
    
    2. copy-back 恢复过程 
        cp 
        --copy-back
        授权

备份策略介绍

full + inc + binlog  : 全备+增量+binlog
full + binlog        :全备+日志

xbk备份工具使用
-- 5.1 全备

[root@db01 backup]# innobackupex  --user=root --password=123 /data/backup

-- 5.2 全备自定制目录名

[root@db01 backup]# innobackupex  --user=root --password=123 --no-timestamp /data/backup/full_`date +%F`

-- 5.3 备份信息介绍

xtrabackup_binlog_info :  
mysql-bin.000003    4432    411148c1-26bf-11ea-a420-000c298780da:1-32

作用: 二进制日志截取的起点位置.

xtrabackup_checkpoints :
backup_type = full-backuped   
from_lsn = 0
to_lsn = 227111469
last_lsn = 227111478
compact = 0
recover_binlog_info = 0

xtrabackup_info
xtrabackup_logfile

-- 5.4 增量备份

(1) 模拟周一白天数据变化:
create database xbk charset utf8mb4;
use xbk;
create table t1 (id int);
create table t2 (id int);
create table t3 (id int);
insert into t1 values(1);
commit;
insert into t2 values(1);
commit;
insert into t3 values(1);
commit;

(2) 模拟周一晚上的增量inc1 
innobackupex  --user=root --password=123 --no-timestamp  --incremental  --incremental-basedir=/data/backup/full_2019-12-27    /data/backup/inc1

(3) 模拟周二白天数据变化
use xbk;
insert into t1 values(2);
commit;
insert into t2 values(2);
commit;
insert into t3 values(2);
commit;

(4) 模拟周二晚上的增量inc2 
innobackupex  --user=root --password=123 --no-timestamp  --incremental  --incremental-basedir=/data/backup/inc1    /data/backup/inc2

(5) 模拟周三白天的数据变化
use xbk;
insert into t1 values(3);
commit;
insert into t2 values(3);
commit;
insert into t3 values(3);
commit;

5.5 故障恢复

[root@db01 ~]# pkill mysqld
[root@db01 ~]# \rm -rf /data/mysql/data_3306/*
恢复思路: 
    1. 找最近的全备 
    2. 所有增量(inc1,inc2)合并全备(/data/backup/full_2019-12-27 )中
    3. 备份的prepare(应用redo和undo)
    4. 恢复备份cp ,改权限
    5. 启动数据库
    6. 截取周二备份到周三故障点的binlog,进行恢复.

-- 1. 增量合并并准备

This option should be used when preparing the base full
backup and when merging all incrementals except the last one. 
各个备份的,lsn能够连续.

(1) base_full 的 prepared --apply-log
[root@db01 ~]# innobackupex --apply-log --redo-only /data/backup/full_2019-12-27


(2) 将inc1 合并到full中
innobackupex --apply-log --redo-only   --incremental-dir=/data/backup/inc1 /data/backup/full_2019-12-27

(3) 将inc2 合并到 full中 
innobackupex --apply-log  --incremental-dir=/data/backup/inc2 /data/backup/full_2019-12-27

(4) 整体备份的prepare.
innobackupex --apply-log  /data/backup/full_2019-12-27

-- 2. 恢复备份

[root@db01 full_2019-12-27]# cp -a * /data/mysql/data_3306/
[root@db01 full_2019-12-27]# chown -R mysql.mysql /data

--3. 启动数据库

--4. 截取二进制日志

[root@db01 inc2]# cat /data/backup/inc2/xtrabackup_binlog_info 
mysql-bin.000003    6593    411148c1-26bf-11ea-a420-000c298780da:1-42
[root@db01 inc2]# 

[root@db01 inc2]# mysqlbinlog --skip-gtids --include-gtids='411148c1-26bf-11ea-a420-000c298780da:43-45' /data/mysql/binlog_3306/mysql-bin.000003 >/data/backup/bin.sql

-- 5. 恢复binlog

mysql> set sql_log_bin=0;
mysql> source /data/backup/bin.sql
mysql> set sql_log_bin=1;

总备份2T,误删除1G一张核心表.
思路: 表空间迁移.

mysql-备份恢复

你可能感兴趣的:(mysql-备份恢复)