一、备份的类型
随着互联网的迅速发展;数据的重要性不需要多说;相信大家都知道。所以数据备份就显得格外重要了;并且选择一个合适的备份方法能提高性能。下面就备份类型来分类:
根据备份时;数据库服务器是否在线:
冷备:cold backup
温备:warm backup
热备:hot backup 基于事务的存储引擎(InnoDB)
根据备份时的数据集:
完全备份:full backup
部分备份:partial backup
根据备份时的接口(直接备份数据文件还是通过mysql服务器导出数据):
物理备份(physical backup):直接复制(归档)数据文件的备份方式;
1、不需要额外工具
2、跨平台性能差
3、表空间占据大
逻辑备份(logical backup):把数据从库中提取出来保存为文本文件;
1、可以使用编辑器处理数据文件
2、可以使用批处理或网络恢复数据;可以更换数据引擎
3、有助于避免数据损坏等
缺陷:恢复慢;无法保证浮点数的精度;还原数据后需要重建索引,消耗时间和资源
根据备份时数据变化(整个数据|变化的数据):
1、完全备份:full backup
2、增量备份:incremental backup
3、差异备份:differential backup
二、基本的备份工具
1、mysqldump:逻辑备份工具
对InnoDB热备、MyISAM温备、Aria温备
备份和恢复过程较慢
2、mysqldumper:多线程的mysqldump
很难实现差异或增量备份;
3、基于lvm-snapshot:
接近于热备的工具;因为要先请求全局锁;而后创建快照;并在创建完成后释放全局锁
cp、tar等工具进行物理备份:仅限于冷备
备份和恢复速度较快;
很难实现增量备份;并且请求全局需要等待一段时间;在繁忙的服务器上尤其如此。
4、部分备份工具;不会备份关系定义;仅备份表中的数据;逻辑备份工具
select clause into outfile '/path/to/somefile'
load data infile '/path/to/somefile'
5、Xtrabackup:由percona提供的开源备份工具
InnoDB热备;增量备份
MyISAM温备;不支持增量
物理备份;速度快
三、基于mydump进行备份
#使用格式 [root@localhost ~]# mysqldump Usage: mysqldump [OPTIONS] database [tables] OR mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...] OR mysqldump [OPTIONS] --all-databases [OPTIONS] For more options, use mysqldump --help #详细可以--help查看;man也可以查看详细说明
备份单个库
#备份单个库 mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | hellodb | | mysql | | performance_schema | | test | | ultrax | +--------------------+ 6 rows in set (0.00 sec) #假设备份上述中hellodb数据库 [root@localhost ~]# mysqldump -uroot -p --databases hellodb --lock-all-tables > /tmp/hdb.sql Enter password: [root@localhost ~]# # #删除、恢复 mysql> drop database hellodb; Query OK, 7 rows affected (0.20 sec) mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | test | | ultrax | +--------------------+ 5 rows in set (0.00 sec) #恢复 mysql> source /tmp/hdb.sql Query OK, 0 rows affected (0.00 sec) ... mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | hellodb | | mysql | | performance_schema | | test | | ultrax | +--------------------+ 6 rows in set (0.00 sec) #测试恢复成功
完全备份以及利用二进制日志进行时间点恢复
[root@localhost ~]# mysqldump -uroot -p --lock-all-tables --all-databases --flush-logs --master-data=2 --events >/tmp/all.sql Enter password: #--lock-all-tables 请求锁;不让其他用户此刻做修改 #--all-databases 备份所有数据库 #--flush-logs 滚动日志 #--master-data=2 记录二进制日志的位置 #--events 导出事件 [root@localhost ~]# vim /tmp/all.sql -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000007', MASTER_LOG_POS=107; #这行记录的就是二进制日志的位置;后续需要依赖进行时间点恢复 # # # #进行测试删除和恢复 mysql> create database soul; Query OK, 1 row affected (0.00 sec) mysql> use soul; Database changed mysql> create table t1 (ID int); Query OK, 0 rows affected (0.06 sec) mysql> insert into t1 values (1),(2),(3); Query OK, 3 rows affected (0.04 sec) Records: 3 Duplicates: 0 Warnings: 0 mysql> drop database soul; Query OK, 1 row affected (0.05 sec) mysql> drop database hellodb; Query OK, 7 rows affected (0.00 sec) #利用备份恢复 mysql> set session sql_log_bin=0; #关闭记录二进制日志;因为恢复过程不需要记录 mysql> source /tmp/all.sql mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | hellodb | | mysql | | performance_schema | | test | | ultrax | +--------------------+ 6 rows in set (0.00 sec) #时间点之后的还没有 [root@localhost ~]# mysqlbinlog --start-position=107 /data/mydata/mysql-bin.000007 # at 547 #位置 #140324 1:04:00 server id 1 end_log_pos 628 Query thread_id=33 exec_time=0 error_code=0 SET TIMESTAMP=1395594240/*!*/; drop database soul #删除的库 /*!*/; # at 628 #位置 #140324 1:04:20 server id 1 end_log_pos 715 Query thread_id=33 exec_time=0 error_code=0 SET TIMESTAMP=1395594260/*!*/; drop database hellodb #删除的库 /*!*/; #能查看完全备份之后的操作;也能看到删除的操作;所以在此截取后来恢复 [root@localhost ~]# mysqlbinlog --start-position=107 --stop-position=547 /data/mydata/mysql-bin.000007 >/tmp/bin.sql mysql> source /tmp/bin.sql ... mysql> use soul; Database changed mysql> show tables -> ; +----------------+ | Tables_in_soul | +----------------+ | t1 | +----------------+ 1 row in set (0.00 sec) mysql> select * from t1; +------+ | ID | +------+ | 1 | | 2 | | 3 | +------+ 3 rows in set (0.15 sec) mysql> set session sql_log_bin=1; Query OK, 0 rows affected (0.00 sec) #在恢复的过程中;应该限制其他用户的任何操作;可以通过iptables来关闭端口;或其他策略 #备份除了数据文件还有二进制文件、配置文件等
四、基于LVM快照的备份
#基于LVM备份前提数据目录需为逻辑卷 [root@localhost ~]# mount /dev/mapper/vg_sql-lv_sql on /mydata/data type ext4 (rw) # mysql> flush tables with read lock; #请求全局锁;完成后不要退出;后续操作可以在另一个pts执行 Query OK, 0 rows affected (0.00 sec) mysql> flush logs; Query OK, 0 rows affected (0.02 sec) mysql> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000002 | 107 | | | +------------------+----------+--------------+------------------+ 1 row in set (0.00 sec) mysql> #创建备份目录和快照卷 [root@localhost ~]# mkdir /backup/ [root@localhost ~]# mysql -e 'show master status' > /backup/binlog.pos [root@localhost ~]# lvcreate -L 100M -s -n mydata-snap -p r /dev/vg_sql/lv_sql Logical volume "mydata-snap" created [root@localhost ~]# mysql> unlock tables; Query OK, 0 rows affected (0.00 sec) #释放锁 # #备份 [root@localhost ~]# mount /dev/vg_sql/mydata-snap /mnt/ -o ro [root@localhost ~]# cp /mnt/ /backup/data-04-16 -a 备份完成 [root@localhost ~]# umount /mnt/ [root@localhost ~]# lvremove /dev/vg_sql/mydata-snap Do you really want to remove active logical volume mydata-snap? [y/n]: y Logical volume "mydata-snap" successfully removed [root@localhost ~]# 移除快照卷 #演示数据库损坏恢复 #备份后下面又生成的数据 mysql> create database soul; Query OK, 1 row affected (0.00 sec) mysql> use soul; Database changed mysql> create table t1 (id int); Query OK, 0 rows affected (0.01 sec) mysql> insert into t1 values (1),(2),(3); Query OK, 3 rows affected (0.01 sec) Records: 3 Duplicates: 0 Warnings: 0 [root@localhost ~]# service mysqld stop Shutting down MySQL. [ OK ] [root@localhost ~]# rm -rf /mydata/data/* [root@localhost ~]# 数据库文件全部丢失 #恢复 [root@localhost ~]# cp /backup/data-04-16/* /mydata/data/ -a [root@localhost ~]# ls /mydata/data/ -l total 28696 drwx------ 2 mysql mysql 4096 Apr 16 17:15 hellodb -rw-rw---- 1 mysql mysql 18874368 Apr 16 17:15 ibdata1 ... [root@localhost ~]# cat /backup/binlog.pos File Position Binlog_Do_DB Binlog_Ignore_DB master-bin.000002 107 [root@localhost ~]# service mysqld start Starting MySQL [ OK ] [root@localhost ~]# mysqlbinlog --start-position=107 /mydata/logs/master-bin.000002 | mysql [root@localhost ~]# mysql> use soul; Database changed mysql> select * from t1; +------+ | id | +------+ | 1 | | 2 | | 3 | +------+ 3 rows in set (0.00 sec) mysql> #测试数据恢复成功 #恢复成功后建议在进行一次完全备份
五、基于Xtrabackup工具备份
安装软件http://www.percona.com/
[root@localhost ~]# ls anaconda-ks.cfg mysql-5.5.33-linux2.6-x86_64.tar.gz xcache-3.0.1 percona-toolkit-2.2.4-1.noarch.rpm xcache-3.0.1.tar.bz2 install.log percona-xtrabackup-2.1.8-733.rhel6.x86_64.rpm install.log.syslog set.sh #安装两个percona工具;可以至percona官方网站下载 [root@localhost ~]# yum -y install *.rpm #yum安装可以解决依赖关系
备份选项
[root@localhost ~]# innobackupex --help Options: --apply-log Prepare a backup in BACKUP-DIR by applying the transaction log file named "xtrabackup_logfile" located in the same directory. Also, create new transaction logs. The InnoDB configuration is read from the file "backup-my.cnf". #可以使用该方法查看
备份
[root@localhost ~]# innobackupex -user=root /backup/ 140416 17:53:26 innobackupex: Connection to database server closed 140416 17:53:26 innobackupex: completed OK! #显示该信息说明成功; [root@localhost ~]# ls /backup/2014-04-16_17-53-23/ backup-my.cnf mysql test xtrabackup_checkpoints hellodb performance_schema xtrabackup_binary xtrabackup_logfile ibdata1 soul xtrabackup_binlog_info #backup-my.cnf mysqld上的一些配置信息 #xtrabackup_binary 与mysql版本相关的信息;可以使用cat查看 #xtrabackup_binlog_info 二进制日志时间点 #xtrabackup_checkpoints 备份类型状态等信息 #完全备份以完成 [root@localhost ~]# service mysqld stop Shutting down MySQL. [ OK ] [root@localhost ~]# rm -rf /mydata/data/* #还原需要先准备 [root@localhost ~]# innobackupex --apply-log /backup/2014-04-16_17-53-23/ 140416 18:05:59 InnoDB: Shutdown completed; log sequence number 1600012 140416 18:05:59 innobackupex: completed OK! # #恢复 [root@localhost ~]# innobackupex --copy-back /backup/2014-04-16_17-53-23/ 140416 18:07:26 innobackupex: completed OK! [root@localhost ~]# ls /mydata/data/ -l total 28696 drwxr-xr-x 2 root root 4096 Apr 16 18:07 hellodb -rw-r--r-- 1 root root 18874368 Apr 16 18:07 ibdata1 ... xtrabackup_binlog_pos_innodb [root@localhost ~]# chown -R mysql.mysql /mydata/data/ [root@localhost ~]# service mysqld start Starting MySQL... [ OK ] mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | hellodb | | mysql | | performance_schema | | soul | | test | +--------------------+ #测试恢复成功;
增量备份
mysql> use soul; Database changed mysql> select * from t1 -> ; +------+ | id | +------+ | 1 | | 2 | | 3 | +------+ 3 rows in set (0.04 sec) mysql> insert into t1 values (4),(5),(6); Query OK, 3 rows affected (0.01 sec) Records: 3 Duplicates: 0 Warnings: 0 # #增量备份上一次完全备份至现在的 [root@localhost ~]# innobackupex --incremental /backup/ --incremental-basedir=/backup/2014-04-16_18-09-51/ [root@localhost ~]# cat /backup/2014-04-16_18-15-52/xtrabackup_checkpoints backup_type = incremental from_lsn = 1600012 to_lsn = 1600451 last_lsn = 1600451 compact = 0 [root@localhost ~]# cat /backup/2014-04-16_18-09-51/xtrabackup_checkpoints backup_type = full-backuped from_lsn = 0 to_lsn = 1600012 last_lsn = 1600012 compact = 0 [root@localhost ~]# 从上述信息可以看出增量备份的信息 mysql> use soul;#增量备份后又修改了数据;就只能根据二进制日志做时间点还原 Database changed mysql> insert into t1 values (7),(8),(9),(10); Query OK, 4 rows affected (0.02 sec) Records: 4 Duplicates: 0 Warnings: 0 mysql>
还原数据
[root@localhost ~]# service mysqld stop Shutting down MySQL. [ OK ] [root@localhost ~]# rm -rf /mydata/data/* #准备备份;先准备完全备份;在依次由第一次...往后准备 #完全准备 [root@localhost ~]# innobackupex --apply-log --redo-only /backup/2014-04-16_18-09-51/ 140416 18:23:17 innobackupex: completed OK! #第一次增量准备 [root@localhost ~]# innobackupex --apply-log --redo-only /backup/2014-04-16_18-09-51/ --incremental-dir=/backup/2014-04-16_18-15-52/ 140416 18:26:25 innobackupex: completed OK! # [root@localhost ~]# cat /backup/2014-04-16_18-09-51/xtrabackup_checkpoints backup_type = full-prepared from_lsn = 0 to_lsn = 1600451 last_lsn = 1600451 compact = 0 [root@localhost ~]#可以看出完全备份的信息已整理好 [root@localhost ~]# innobackupex --copy-back /backup/2014-04-16_18-09-51/ 140416 18:30:07 innobackupex: completed OK! #恢复 [root@localhost ~]# ls /mydata/data/ -l total 18452 drwxr-xr-x 2 root root 4096 Apr 16 18:30 hellodb -rw-r--r-- 1 root root 18874368 Apr 16 18:30 ibdata1 drwxr-xr-x 2 root root 4096 Apr 16 18:30 mysql drwxr-xr-x 2 root root 4096 Apr 16 18:30 performance_schema drwxr-xr-x 2 root root 4096 Apr 16 18:30 soul drwxr-xr-x 2 root root 4096 Apr 16 18:30 test [root@localhost ~]# chown -R mysql.mysql /mydata/data/ [root@localhost ~]# cat /backup/2014-04-16_18-09-51/xtrabackup_binlog_info master-bin.000004 298 [root@localhost ~]# mysqlbinlog --start-position=298 /mydata/logs/master-bin.000004 > /tmp/log.sql [root@localhost ~]# service mysqld start Starting MySQL.. [ OK ] mysql> set session sql_log_bin=0; Query OK, 0 rows affected (0.00 sec) mysql> source /tmp/log.sql mysql> use soul; Database changed mysql> select * from t1; +------+ | id | +------+ | 1 | | 2 | | 3 | | 4 | | 5 | | 6 | | 7 | | 8 | | 9 | | 10 | +------+ 10 rows in set (0.00 sec) #测试数据恢复成功。
Xtrabackup的“流”及“备份压缩”功能
Xtrabackup对备份的数据文件支持“流”功能,即可以将备份的数据通过STDOUT传输给tar程序进行归档,而不是默认的直接保存至某备份目录中。要使用此功能,仅需要使用--stream选项即可:
# innobackupex --stream=tar /backup | gzip > /backup/`date +%F_%H-%M-%S`.tar.gz
甚至也可以使用类似如下命令将数据备份至其它服务器:
# innobackupex--stream=tar /backup | ssh [email protected] "cat - > /backups/`date +%F_%H-%M-%S`.tar"
此外,在执行本地备份时,还可以使用--parallel选项对多个文件进行并行复制。此选项用于指定在复制时启动的线程数目。当然,在实际进行备份时要利用此功能的便利性,也需要启用innodb_file_per_table选项或共享的表空间通过innodb_data_file_path选项存储在多个ibdata文件中。对某一数据库的多个文件的复制无法利用到此功能。其简单使用方法如下:
# innobackupex --parallel /path/to/backup
同时,innobackupex备份的数据文件也可以存储至远程主机,这可以使用--remote-host选项来实现:
# innobackupex [email protected] /path/IN/REMOTE/HOST/to/backup
导入或导出单张表
默认情况下,InnoDB表不能通过直接复制表文件的方式在mysql服务器之间进行移植,即便使用了innodb_file_per_table选项。而使用Xtrabackup工具可以实现此种功能,不过,此时需要“导出”表的mysql服务器启用了innodb_file_per_table选项(严格来说,是要“导出”的表在其创建之前,mysql服务器就启用了innodb_file_per_table选项),并且“导入”表的服务器同时启用了innodb_file_per_table和innodb_expand_import选项。
(1)“导出”表
导出表是在备份的prepare阶段进行的,因此,一旦完全备份完成,就可以在prepare过程中通过--export选项将某表导出了:
# innobackupex --apply-log --export /path/to/backup
此命令会为每个innodb表的表空间创建一个以.exp结尾的文件,这些以.exp结尾的文件则可以用于导入至其它服务器。
(2)“导入”表
要在mysql服务器上导入来自于其它服务器的某innodb表,需要先在当前服务器上创建一个跟原表表结构一致的表,而后才能实现将表导入:
mysql> CREATE TABLE mytable (...) ENGINE=InnoDB;
然后将此表的表空间删除:
mysql> ALTER TABLE mydatabase.mytable DISCARD TABLESPACE;
接下来,将来自于“导出”表的服务器的mytable表的mytable.ibd和mytable.exp文件复制到当前服务器的数据目录,注意复制后更改权限;然后使用如下命令将其“导入”:
mysql> ALTER TABLE mydatabase.mytable IMPORT TABLESPACE;
如有错误;恳请纠正。