一、备份的类型

随着互联网的迅速发展;数据的重要性不需要多说;相信大家都知道。所以数据备份就显得格外重要了;并且选择一个合适的备份方法能提高性能。下面就备份类型来分类:

  • 根据备份时;数据库服务器是否在线:

   冷备:cold backup

   温备:warm backup

   热备:hot backup 基于事务的存储引擎(InnoDB)


  • 根据备份时的数据集:

   完全备份:full backup

   部分备份:partial backup


  • 根据备份时的接口(直接备份数据文件还是通过mysql服务器导出数据):

   物理备份(physical backup):直接复制(归档)数据文件的备份方式;

   1、不需要额外工具

   2、跨平台性能差

   3、表空间占据大


   逻辑备份(logical backup):把数据从库中提取出来保存为文本文件;

   1、可以使用编辑器处理数据文件

   2、可以使用批处理或网络恢复数据;可以更换数据引擎

   3、有助于避免数据损坏等

   缺陷:恢复慢;无法保证浮点数的精度;还原数据后需要重建索引,消耗时间和资源


  • 根据备份时数据变化(整个数据|变化的数据):

   1、完全备份:full backup

   2、增量备份:incremental backup

   3、差异备份:differential backup


二、基本的备份工具

1、mysqldump:逻辑备份工具

对InnoDB热备、MyISAM温备、Aria温备

备份和恢复过程较慢


2、mysqldumper:多线程的mysqldump

很难实现差异或增量备份;


3、基于lvm-snapshot:

接近于热备的工具;因为要先请求全局锁;而后创建快照;并在创建完成后释放全局锁

cp、tar等工具进行物理备份:仅限于冷备

备份和恢复速度较快;

很难实现增量备份;并且请求全局需要等待一段时间;在繁忙的服务器上尤其如此。


4、部分备份工具;不会备份关系定义;仅备份表中的数据;逻辑备份工具

select clause into outfile '/path/to/somefile'

load data infile '/path/to/somefile'


5、Xtrabackup:由percona提供的开源备份工具

InnoDB热备;增量备份

MyISAM温备;不支持增量

物理备份;速度快


三、基于mydump进行备份

#使用格式
[root@localhost ~]# mysqldump
Usage: mysqldump [OPTIONS] database [tables]
OR     mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]
OR     mysqldump [OPTIONS] --all-databases [OPTIONS]
For more options, use mysqldump --help
#详细可以--help查看;man也可以查看详细说明
  • 备份单个库

#备份单个库
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hellodb            |
| mysql              |
| performance_schema |
| test               |
| ultrax             |
+--------------------+
6 rows in set (0.00 sec)
#假设备份上述中hellodb数据库
[root@localhost ~]# mysqldump -uroot -p --databases hellodb --lock-all-tables > /tmp/hdb.sql
Enter password:
[root@localhost ~]#
#
#删除、恢复
mysql> drop database hellodb;
Query OK, 7 rows affected (0.20 sec)
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| test               |
| ultrax             |
+--------------------+
5 rows in set (0.00 sec)
#恢复
mysql> source /tmp/hdb.sql
Query OK, 0 rows affected (0.00 sec)
...
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hellodb            |
| mysql              |
| performance_schema |
| test               |
| ultrax             |
+--------------------+
6 rows in set (0.00 sec)
#测试恢复成功
  • 完全备份以及利用二进制日志进行时间点恢复

[root@localhost ~]# mysqldump -uroot -p --lock-all-tables --all-databases --flush-logs --master-data=2 --events >/tmp/all.sql
Enter password:
#--lock-all-tables    请求锁;不让其他用户此刻做修改
#--all-databases      备份所有数据库
#--flush-logs         滚动日志
#--master-data=2      记录二进制日志的位置
#--events             导出事件
[root@localhost ~]# vim /tmp/all.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000007', MASTER_LOG_POS=107;
#这行记录的就是二进制日志的位置;后续需要依赖进行时间点恢复
#
#
#
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
#进行测试删除和恢复
mysql> create database soul;
Query OK, 1 row affected (0.00 sec)
mysql> use soul;
Database changed
mysql> create table t1 (ID int);
Query OK, 0 rows affected (0.06 sec)
mysql> insert into t1 values (1),(2),(3);
Query OK, 3 rows affected (0.04 sec)
Records: 3  Duplicates: 0  Warnings: 0
mysql> drop database soul;
Query OK, 1 row affected (0.05 sec)
mysql> drop database hellodb;
Query OK, 7 rows affected (0.00 sec)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           
#利用备份恢复
mysql> set session sql_log_bin=0;
#关闭记录二进制日志;因为恢复过程不需要记录
mysql> source /tmp/all.sql
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hellodb            |
| mysql              |
| performance_schema |
| test               |
| ultrax             |
+--------------------+
6 rows in set (0.00 sec)
#时间点之后的还没有
[root@localhost ~]# mysqlbinlog --start-position=107 /data/mydata/mysql-bin.000007
# at 547            #位置
#140324  1:04:00 server id 1  end_log_pos 628   Query   thread_id=33    exec_time=0 error_code=0
SET TIMESTAMP=1395594240/*!*/;
drop database soul    #删除的库
/*!*/;
# at 628            #位置
#140324  1:04:20 server id 1  end_log_pos 715   Query   thread_id=33    exec_time=0 error_code=0
SET TIMESTAMP=1395594260/*!*/;
drop database hellodb    #删除的库
/*!*/;
#能查看完全备份之后的操作;也能看到删除的操作;所以在此截取后来恢复
[root@localhost ~]# mysqlbinlog --start-position=107 --stop-position=547 /data/mydata/mysql-bin.000007 >/tmp/bin.sql
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     
mysql> source /tmp/bin.sql
...
mysql> use soul;
Database changed
mysql> show tables
    -> ;
+----------------+
| Tables_in_soul |
+----------------+
| t1             |
+----------------+
1 row in set (0.00 sec)
mysql> select * from t1;
+------+
| ID   |
+------+
|    1 |
|    2 |
|    3 |
+------+
3 rows in set (0.15 sec)
mysql> set session sql_log_bin=1;
Query OK, 0 rows affected (0.00 sec)
#在恢复的过程中;应该限制其他用户的任何操作;可以通过iptables来关闭端口;或其他策略
#备份除了数据文件还有二进制文件、配置文件等

四、基于LVM快照的备份

#基于LVM备份前提数据目录需为逻辑卷
[root@localhost ~]# mount
/dev/mapper/vg_sql-lv_sql on /mydata/data type ext4 (rw)
#
mysql> flush tables with read lock;    #请求全局锁;完成后不要退出;后续操作可以在另一个pts执行
Query OK, 0 rows affected (0.00 sec)
mysql> flush logs;
Query OK, 0 rows affected (0.02 sec)
mysql> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000002 |      107 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)
mysql>
                                                                                                                                                                                                                                                                                                                                                                                                                                                
#创建备份目录和快照卷
[root@localhost ~]# mkdir /backup/
[root@localhost ~]# mysql -e 'show master status' > /backup/binlog.pos
[root@localhost ~]# lvcreate -L 100M -s -n mydata-snap -p r /dev/vg_sql/lv_sql
  Logical volume "mydata-snap" created
[root@localhost ~]#
mysql> unlock tables;
Query OK, 0 rows affected (0.00 sec)
#释放锁
#
#备份
[root@localhost ~]# mount /dev/vg_sql/mydata-snap /mnt/ -o ro
[root@localhost ~]# cp /mnt/ /backup/data-04-16 -a    备份完成
[root@localhost ~]# umount /mnt/
[root@localhost ~]# lvremove /dev/vg_sql/mydata-snap
Do you really want to remove active logical volume mydata-snap? [y/n]: y
  Logical volume "mydata-snap" successfully removed
[root@localhost ~]# 移除快照卷
                                                                                                                                                                                                                                                                                                                                                                                                                                                
#演示数据库损坏恢复 
#备份后下面又生成的数据
mysql> create database soul;
Query OK, 1 row affected (0.00 sec)
mysql> use soul;
Database changed
mysql> create table t1 (id int);
Query OK, 0 rows affected (0.01 sec)
mysql> insert into t1 values (1),(2),(3);
Query OK, 3 rows affected (0.01 sec)
Records: 3  Duplicates: 0  Warnings: 0
[root@localhost ~]# service mysqld stop
Shutting down MySQL.                                       [  OK  ]
[root@localhost ~]# rm -rf /mydata/data/*
[root@localhost ~]# 数据库文件全部丢失
                                                                                                                                                                                                                                                                                                                                                                                                                                                
#恢复
[root@localhost ~]# cp /backup/data-04-16/* /mydata/data/ -a
[root@localhost ~]# ls /mydata/data/ -l
total 28696
drwx------ 2 mysql mysql     4096 Apr 16 17:15 hellodb
-rw-rw---- 1 mysql mysql 18874368 Apr 16 17:15 ibdata1
...
[root@localhost ~]# cat /backup/binlog.pos
File    Position    Binlog_Do_DB    Binlog_Ignore_DB
master-bin.000002   107
                                                                                                                                                                                                                                                                                                                                                                                                                                                
[root@localhost ~]# service mysqld start
Starting MySQL                                             [  OK  ]
[root@localhost ~]# mysqlbinlog --start-position=107 /mydata/logs/master-bin.000002 | mysql
[root@localhost ~]#
mysql> use soul;
Database changed
mysql> select * from t1;
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
+------+
3 rows in set (0.00 sec)
mysql> #测试数据恢复成功
#恢复成功后建议在进行一次完全备份


五、基于Xtrabackup工具备份

  • 安装软件http://www.percona.com/

[root@localhost ~]# ls
anaconda-ks.cfg     mysql-5.5.33-linux2.6-x86_64.tar.gz            xcache-3.0.1
percona-toolkit-2.2.4-1.noarch.rpm             xcache-3.0.1.tar.bz2
install.log         percona-xtrabackup-2.1.8-733.rhel6.x86_64.rpm
install.log.syslog  set.sh
#安装两个percona工具;可以至percona官方网站下载
[root@localhost ~]# yum -y install *.rpm
#yum安装可以解决依赖关系
  • 备份选项

[root@localhost ~]# innobackupex --help
Options:
    --apply-log
        Prepare a backup in BACKUP-DIR by applying the transaction log file
        named "xtrabackup_logfile" located in the same directory. Also,
        create new transaction logs. The InnoDB configuration is read from
        the file "backup-my.cnf".
#可以使用该方法查看
  • 备份

[root@localhost ~]# innobackupex -user=root /backup/
140416 17:53:26  innobackupex: Connection to database server closed
140416 17:53:26  innobackupex: completed OK!
#显示该信息说明成功;
[root@localhost ~]# ls /backup/2014-04-16_17-53-23/
backup-my.cnf  mysql               test                    xtrabackup_checkpoints
hellodb        performance_schema  xtrabackup_binary       xtrabackup_logfile
ibdata1        soul                xtrabackup_binlog_info
#backup-my.cnf             mysqld上的一些配置信息
#xtrabackup_binary         与mysql版本相关的信息;可以使用cat查看
#xtrabackup_binlog_info    二进制日志时间点
#xtrabackup_checkpoints    备份类型状态等信息
                                                                                                                                                                                                                                                                                                                                                     
#完全备份以完成
[root@localhost ~]# service mysqld stop
Shutting down MySQL.                                       [  OK  ]
[root@localhost ~]# rm -rf /mydata/data/*
#还原需要先准备
[root@localhost ~]# innobackupex --apply-log /backup/2014-04-16_17-53-23/
140416 18:05:59  InnoDB: Shutdown completed; log sequence number 1600012
140416 18:05:59  innobackupex: completed OK!
#
#恢复
[root@localhost ~]# innobackupex --copy-back /backup/2014-04-16_17-53-23/
140416 18:07:26  innobackupex: completed OK!
[root@localhost ~]# ls /mydata/data/ -l
total 28696
drwxr-xr-x 2 root root     4096 Apr 16 18:07 hellodb
-rw-r--r-- 1 root root 18874368 Apr 16 18:07 ibdata1
...
xtrabackup_binlog_pos_innodb
[root@localhost ~]# chown -R mysql.mysql /mydata/data/
[root@localhost ~]# service mysqld start
Starting MySQL...                                          [  OK  ]
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hellodb            |
| mysql              |
| performance_schema |
| soul               |
| test               |
+--------------------+
#测试恢复成功;
  • 增量备份

mysql> use soul;
Database changed
mysql> select * from t1
    -> ;
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
+------+
3 rows in set (0.04 sec)
mysql> insert into t1 values (4),(5),(6);
Query OK, 3 rows affected (0.01 sec)
Records: 3  Duplicates: 0  Warnings: 0
#
#增量备份上一次完全备份至现在的
[root@localhost ~]# innobackupex --incremental /backup/ --incremental-basedir=/backup/2014-04-16_18-09-51/
[root@localhost ~]# cat /backup/2014-04-16_18-15-52/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1600012
to_lsn = 1600451
last_lsn = 1600451
compact = 0
[root@localhost ~]# cat /backup/2014-04-16_18-09-51/xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 1600012
last_lsn = 1600012
compact = 0
[root@localhost ~]# 从上述信息可以看出增量备份的信息
mysql> use soul;#增量备份后又修改了数据;就只能根据二进制日志做时间点还原
Database changed
mysql> insert into t1 values (7),(8),(9),(10);
Query OK, 4 rows affected (0.02 sec)
Records: 4  Duplicates: 0  Warnings: 0
mysql>
  • 还原数据

[root@localhost ~]# service mysqld stop
Shutting down MySQL.                                       [  OK  ]
[root@localhost ~]# rm -rf /mydata/data/*
#准备备份;先准备完全备份;在依次由第一次...往后准备
#完全准备
[root@localhost ~]# innobackupex --apply-log --redo-only /backup/2014-04-16_18-09-51/
140416 18:23:17  innobackupex: completed OK!
#第一次增量准备
[root@localhost ~]# innobackupex --apply-log --redo-only /backup/2014-04-16_18-09-51/ --incremental-dir=/backup/2014-04-16_18-15-52/
140416 18:26:25  innobackupex: completed OK!
#
[root@localhost ~]# cat /backup/2014-04-16_18-09-51/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 1600451
last_lsn = 1600451
compact = 0
[root@localhost ~]#可以看出完全备份的信息已整理好
[root@localhost ~]# innobackupex --copy-back /backup/2014-04-16_18-09-51/
140416 18:30:07  innobackupex: completed OK!
#恢复
[root@localhost ~]# ls /mydata/data/ -l
total 18452
drwxr-xr-x 2 root root     4096 Apr 16 18:30 hellodb
-rw-r--r-- 1 root root 18874368 Apr 16 18:30 ibdata1
drwxr-xr-x 2 root root     4096 Apr 16 18:30 mysql
drwxr-xr-x 2 root root     4096 Apr 16 18:30 performance_schema
drwxr-xr-x 2 root root     4096 Apr 16 18:30 soul
drwxr-xr-x 2 root root     4096 Apr 16 18:30 test
[root@localhost ~]# chown -R mysql.mysql /mydata/data/
[root@localhost ~]# cat /backup/2014-04-16_18-09-51/xtrabackup_binlog_info
master-bin.000004   298
[root@localhost ~]# mysqlbinlog --start-position=298 /mydata/logs/master-bin.000004 > /tmp/log.sql
[root@localhost ~]# service mysqld start
Starting MySQL..                                           [  OK  ]
mysql> set session sql_log_bin=0;
Query OK, 0 rows affected (0.00 sec)
mysql> source /tmp/log.sql
mysql> use soul;
Database changed
mysql> select * from t1;
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
|    4 |
|    5 |
|    6 |
|    7 |
|    8 |
|    9 |
|   10 |
+------+
10 rows in set (0.00 sec)
#测试数据恢复成功。
  • Xtrabackup的“流”及“备份压缩”功能

Xtrabackup对备份的数据文件支持“流”功能,即可以将备份的数据通过STDOUT传输给tar程序进行归档,而不是默认的直接保存至某备份目录中。要使用此功能,仅需要使用--stream选项即可:

# innobackupex --stream=tar  /backup | gzip > /backup/`date +%F_%H-%M-%S`.tar.gz


甚至也可以使用类似如下命令将数据备份至其它服务器:

# innobackupex--stream=tar  /backup | ssh [email protected]  "cat -  > /backups/`date +%F_%H-%M-%S`.tar"


此外,在执行本地备份时,还可以使用--parallel选项对多个文件进行并行复制。此选项用于指定在复制时启动的线程数目。当然,在实际进行备份时要利用此功能的便利性,也需要启用innodb_file_per_table选项或共享的表空间通过innodb_data_file_path选项存储在多个ibdata文件中。对某一数据库的多个文件的复制无法利用到此功能。其简单使用方法如下:

# innobackupex --parallel  /path/to/backup


同时,innobackupex备份的数据文件也可以存储至远程主机,这可以使用--remote-host选项来实现:

# innobackupex [email protected]  /path/IN/REMOTE/HOST/to/backup

  • 导入或导出单张表

默认情况下,InnoDB表不能通过直接复制表文件的方式在mysql服务器之间进行移植,即便使用了innodb_file_per_table选项。而使用Xtrabackup工具可以实现此种功能,不过,此时需要“导出”表的mysql服务器启用了innodb_file_per_table选项(严格来说,是要“导出”的表在其创建之前,mysql服务器就启用了innodb_file_per_table选项),并且“导入”表的服务器同时启用了innodb_file_per_table和innodb_expand_import选项。

(1)“导出”表

导出表是在备份的prepare阶段进行的,因此,一旦完全备份完成,就可以在prepare过程中通过--export选项将某表导出了:

# innobackupex --apply-log --export /path/to/backup

此命令会为每个innodb表的表空间创建一个以.exp结尾的文件,这些以.exp结尾的文件则可以用于导入至其它服务器。

(2)“导入”表

要在mysql服务器上导入来自于其它服务器的某innodb表,需要先在当前服务器上创建一个跟原表表结构一致的表,而后才能实现将表导入:

mysql> CREATE TABLE mytable (...)  ENGINE=InnoDB;

然后将此表的表空间删除:

mysql> ALTER TABLE mydatabase.mytable  DISCARD TABLESPACE;

接下来,将来自于“导出”表的服务器的mytable表的mytable.ibd和mytable.exp文件复制到当前服务器的数据目录,注意复制后更改权限;然后使用如下命令将其“导入”:

mysql> ALTER TABLE mydatabase.mytable  IMPORT TABLESPACE;



如有错误;恳请纠正。