物理备份:备份数据文件,转储数据库物理文件到某一目录。物理备份恢复速度比较快,但占用空间比较大,MySQL中可以用 xtrabackup
工具来进行物理备份。
逻辑备份:对数据库对象利用工具进行导出工作,汇总入备份文件内。逻辑备份恢复速度慢,但占用空间小,更灵活。MySQL 中常用的逻辑备份工具为 mysqldump
。逻辑备份就是 备份sql语句
,在恢复的时候执行备份的sql语句实现数据库数据的重现。
mysqldump –u 用户名称 –h 主机名称 –p密码 待备份的数据库名称[tbname, [tbname...]]> 备份文件名称.sql
mysqldump -uroot -p database1 > /var/lib/mysql/database1.sql
若想用mysqldump备份整个实例,可以使用 --all-databases
或 -A
参数:
mysqldump -uroot -pxxxxxx --all-databases > all_database.sql
mysqldump -uroot -pxxxxxx -A > all_database.sql
使用 --databases
或 -B
参数了,该参数后面跟数据库名称,多个数据库间用空格隔开。如果指定databases参数,备份文件中会存在创建数据库的语句,如果不指定参数,则不存在。语法如下
mysqldump –u user –h host –p --databases [数据库的名称1 [数据库的名称2...]] > 备份文件名称.sql
mysqldump -uroot -p --databases database1 database2 >two_database.sql
mysqldump -uroot -p -B database1 database2 > two_database.sql
语法:
mysqldump –u user –h host –p 数据库的名称 [表名1 [表名2...]] > 备份文件名称.sql
mysqldump -uroot -p database1 table1> table.sql
#备份多张表
mysqldump -uroot -p database1 table1 table2 > 2_tables_bak.sql
有些时候一张表的数据量很大,我们只需要部分数据。这时就可以使用 --where
选项了。where后面附带需要满足的条件。
mysqldump -uroot -p database1 table1 --where="id < 10 " > table1_part_id10_low_bak.sql
如果我们想备份某个库,但是某些表数据量很大或者与业务关联不大,这个时候可以考虑排除掉这些表,同样的,选项 --ignore-table
可以完成这个功能。
mysqldump -uroot -p database1 --ignore-table=database1.table1 > no_table1_bak.sql
只备份结构的话可以使用 --no-data
简写为 -d
选项;只备份数据可以使用 --no-create-info
简写为 -t
选项
# 只备份结构
mysqldump -uroot -p database1 --no-data > database1_no_data_bak.sql
# 只备份数据
mysqldump -uroot -p database1 --no-create-info > database1_no_create_info_bak.sql
mysqldump备份默认是不包含存储过程,自定义函数及事件的。可以使用 --routines
或 -R
选项来备份存储过程及函数,使用 --events
或 -E
参数来备份事件。
# 备份database1库的数据,函数以及存储过程
mysqldump -uroot -p -R -E --databases database1 > database1_all_bak.sql
--add-drop-database
:在每个CREATE DATABASE语句前添加DROP DATABASE语句
--add-drop-tables
:在每个CREATE TABLE语句前添加DROP TABLE语句。
--add-locking
:用LOCK TABLES和UNLOCK TABLES语句引用每个表转储。重载转储文件时插入得更快。
--all-database
, -A
:转储所有数据库中的所有表。与使用–database选项相同,在命令行中命名所有数据库。
--comment[=0|1]
:如果设置为0,禁止转储文件中的其他信息,例如程序版本、服务器版本和主机。–skipcomments与–comments=0的结果相同。默认值为1,即包括额外信息。
--compact
:产生少量输出。该选项禁用注释并启用–skip-add-drop-tables、–no-set-names、–skipdisable-keys和–skip-add-locking选项。
--compatible=name
:产生与其他数据库系统或旧的MySQL服务器更兼容的输出,值可以为ansi、MySQL323、MySQL40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_table_options或者no_field_options。
--complete_insert
, -c
:使用包括列名的完整的INSERT语句。
--debug[=debug_options]
, -#[debug_options]
:写调试日志。
--delete
,-D
:导入文本文件前清空表
--default-character-set=charset
:使用charsets默认字符集。如果没有指定,就使用utf8
--delete--master-logs
:在主复制服务器上,完成转储操作后删除二进制日志。该选项自动启用-masterdata。
--extended-insert
,-e
:使用包括几个VALUES列表的多行INSERT语法。这样使得转储文件更小,重载文件时可以加速插入。
--flush-logs
,-F
:开始转储前刷新MySQL服务器日志文件。该选项要求RELOAD权限
--force
,-f
:在表转储过程中,即使出现SQL错误也继续。
--lock-all-tables
,-x:对所有数据库中的所有表加锁。在整体转储过程中通过全局锁定来实现。该选项自动关闭–single-transaction和–lock-tables
--lock-tables
,-l
:开始转储前锁定所有表。用READ LOCAL锁定表以允许并行插入MyISAM表。对于事务表(例如InnoDB和BDB),–single-transaction是一个更好的选项,因为它根本不需要锁定表。
--no-create-db
,-n
:该选项禁用CREATE DATABASE /!32312 IF NOT EXIST/db_name语句,如果给出–database或–all-database选项,就包含到输出中。
--no-create-info
,-t
:只导出数据,而不添加CREATE TABLE语句。
--no-data
,-d
:不写表的任何行信息,只转储表的结构。
--opt
:该选项是速记,它可以快速进行转储操作并产生一个能很快装入MySQL服务器的转储文件。该选项默认开启,但可以用–skip-opt禁用。
--password[=password]
,-p[password]
:当连接服务器时使用的密码。
-port=port_num
,-P port_num
:用于连接的TCP/IP端口号。
--protocol={TCP|SOCKET|PIPE|MEMORY}
:使用的连接协议。
--replace
,-r –replace
和--ignore
:控制替换或复制唯一键值已有记录的输入记录的处理。如果指定–replace,新行替换有相同的唯一键值的已有行;如果指定–ignore,复制已有的唯一键值的输入行被跳过。如果不指定这两个选项,当发现一个复制键值时会出现一个错误,并且忽视文本文件的剩余部分。
--silent
,-s
:沉默模式。只有出现错误时才输出。
--socket=path
,-S path
:当连接localhost时使用的套接字文件(为默认主机)。
--user=user_name
,-u user_name
:当连接服务器时MySQL使用的用户名。
--verbose
,-v
:冗长模式,打印出程序操作的详细信息。
--xml
,-X
:产生XML输出。
运行帮助命令 mysqldump --help
,可以获得特定版本的完整选项列表。
提示 如果运行mysqldump没有–quick或–opt选项,mysqldump在转储结果前将整个结果集装入内存。如果转储大数据库可能会出现问题,该选项默认启用,但可以用–skip-opt禁用。如果使用最新版本的mysqldump程序备份数据,并用于恢复到比较旧版本的MySQL服务器中,则不要使用–opt或-e选项。
mysql –u root –p [dbname] < backup.sql
# 备份文件中包含了创建数据库的语句
mysql -uroot -p < database1.sql
# 备份文件中不包含了创建数据库的语句
mysql -uroot -p database1< database1.sql
mysql –u root –p < all.sql
mysql -uroot -pxxxxxx < all.sql
可能有这样的需求,比如说我们只想恢复某一个库,但是我们有的是整个实例的备份,这个时候我们可以从全量备份中分离出单个库的备份。
sed -n '/^-- Current Database: `database1`/,/^-- Current Database: `/p' all_database.sql> database1.sql
#分离完成后再导入database1.sql即可恢复单个库
cat database1.sql | sed -e '/./{H;$!d;}' -e 'x;/CREATE TABLE `class`/!d;q' > class_structure.sql
cat database1.sql | grep --ignore-case 'insert into `class`' > class_data.sql
#用shell语法分离出创建表的语句及插入数据的语句后 再依次导出即可完成恢复
use database1;
mysql> source class_structure.sql;
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> source class_data.sql;
Query OK, 1 row affected (0.01 sec)
直接将MySQL中的数据库文件复制出来。这种方法最简单,速度也最快。备份在MySQL的数据目录。
为了保证备份的一致性。需要保证:
这种方式方便、快速,但不是最好的备份方法,因为实际情况可能 不允许停止MySQL服务器
或者 锁住表
,而且这种方法 对InnoDB存储引擎
的表不适用。对于MyISAM存储引擎的表,这样备份和还原很方便,但是还原时最好是相同版本的MySQL数据库,否则可能会存在文件类型不同的情况。
注意,物理备份完毕后,执行 UNLOCK TABLES
来结算其他客户对表的修改行为。
说明: 在MySQL版本号中,第一个数字表示主版本号,主版本号相同的MySQL数据库文件格式相同。
此外,还可以考虑使用相关工具实现备份。比如, MySQLhotcopy 工具。MySQLhotcopy是一个Perl脚本,它使用LOCK TABLES、FLUSH TABLES和cp或scp来快速备份数据库。它是备份数据库或单个表最快的途径,但它只能运行在数据库目录所在的机器上,并且只能备份MyISAM类型的表。多用于mysql5.5之前。
chown
操作。要求:
MyISAM
类型的表比较有效 ,对于 InnoDB
类型的表则不可用
chown -R mysql.mysql /var/lib/mysql/dbname
其中,两个mysql分别表示组和用户;“-R”参数可以改变文件夹下的所有子文件的用户和组;“dbname”参数表示数据库目录
提示 Linux操作系统下的权限设置非常严格。通常情况下,MySQL数据库只有root用户和mysql用户组下的mysql用户才可以访问,因此将数据库目录复制到指定文件夹后,一定要使用chown命令将文件夹的用户组变为mysql,将用户变为mysql。
SELECT * FROM database1.table1 INTO OUTFILE '/var/lib/mysql-files/table1.txt';
# 使用FIELDS选项和LINES选项,要求字段之间使用逗号","间隔,所有字段值用双引号括起来
SELECT * FROM atguigu.account INTO OUTFILE '/var/lib/mysql-files/account_1.txt' FIELDS TERMINATED BY ',' ENCLOSED BY '\"';
mysqldump -uroot -p -T "/var/lib/mysql-files/" database1 table1
# 使用FIELDS选项,要求字段之间使用逗号“,”间隔,所有字符类型字段值用双引号括起来
mysqldump -uroot -p -T "/var/lib/mysql-files/" database1 table1 --fields-terminatedby=',' --fields-optionally-enclosed-by='\"'
mysql -uroot -p --execute="SELECT * FROM table1;" database1> "/var/lib/mysqlfiles/table1.txt"
# 使用--veritcal参数将该条件记录分为多行显示
mysql -uroot -p --vertical --execute="SELECT * FROM table1;" database1 >"/var/lib/mysql-files/table1.txt"
# 以xml格式导出
mysql -uroot -p --xml --execute="SELECT * FROM table1;" database1>"/var/lib/mysqlfiles/table1.xml"
# 以html格式导出
mysql -uroot -p --html --execute="SELECT * FROM table1;" database1>"/var/lib/mysqlfiles/table1.xml"
# 导出
SELECT * FROM database1.table1 INTO OUTFILE '/var/lib/mysql-files/table1.txt';
# 导入
LOAD DATA INFILE '/var/lib/mysql-files/table1.txt' INTO TABLE database1.table1;
# 导出:使用FIELDS选项和LINES选项,要求字段之间使用逗号","间隔,所有字段值用双引号括起来:
SELECT * FROM database1.table1 INTO OUTFILE '/var/lib/mysql-files/table1.txt' FIELDS TERMINATED BY ',' ENCLOSED BY '\"';
# 导入
LOAD DATA INFILE '/var/lib/mysql-files/table1.txt' INTO TABLE database1.table1 FIELDS TERMINATED BY ',' ENCLOSED BY '\"';
# 导出
SELECT * FROM database1.table1 INTO OUTFILE '/var/lib/mysql-files/table1.txt' FIELDSTERMINATED BY ',' ENCLOSED BY '\"';
# 导入
mysqlimport -uroot -p database1 '/var/lib/mysql-files/table1.txt' --fields-terminatedby=',' --fields-optionally-enclosed-by='\"'
数据迁移(data migration)是指选择、准备、提取和转换数据,并将数据从一个计算机存储系统永久地传输到另一个计算机存储系统的过程。此外, 验证迁移数据的完整性
和 退役原来旧的数据存储
,也被认为是整个数据迁移过程的一部分。
数据库迁移的原因是多样的,包括服务器或存储设备更换、维护或升级,应用程序迁移,网站集成,灾难恢复和数据中心迁移。
根据不同的需求可能要采取不同的迁移方案,但总体来讲,MySQL 数据迁移方案大致可以分为 物理迁移
和 逻辑迁移
两类。通常以尽可能 自动化
的方式执行,从而将人力资源从繁琐的任务中解放出来。
物理迁移适用于大数据量下的整体迁移。使用物理迁移方案的优点是比较快速,但需要停机迁移并且要求 MySQL
版本及配置必须和原服务器相同,也可能引起未知问题。
物理迁移包括拷贝数据文件和使用 XtraBackup 备份工具两种。
不同服务器之间可以采用物理迁移,我们可以在新的服务器上安装好同版本的数据库软件,创建好相同目录,建议配置文件也要和原数据库相同,然后从原数据库方拷贝来数据文件及日志文件,配置好文件组权限,之后在新服务器这边使用 mysqld
命令启动数据库。
逻辑迁移适用范围更广,无论是 部分迁移
还是 全量迁移
,都可以使用逻辑迁移。逻辑迁移中使用最多的就是通过 mysqldump
等备份工具。
指的是在主版本号相同的MySQL数据库之间进行数据库移动。
方式1
: 因为迁移前后MySQL数据库的 主版本号相同
,所以可以通过复制数据库目录来实现数据库迁移,但是物理迁移方式只适用于MyISAM引擎的表。对于InnoDB表,不能用直接复制文件的方式备份数据库。
方式2
: 最常见和最安全的方式是使用 mysqldump命令
导出数据,然后在目标数据库服务器中使用MySQL命令导入。
#host1的机器中备份所有数据库,并将数据库迁移到名为host2的机器上
mysqldump –h host1 –uroot –p –-all-databases |
mysql –h host2 –uroot –p
在上述语句中,“|”符号表示管道,其作用是将mysqldump备份的文件给mysql命令;“–all-databases”表示要迁移所有的数据库。通过这种方式可以直接实现迁移。
例如,原来很多服务器使用5.7版本的MySQL数据库,在8.0版本推出来以后,改进了5.7版本的很多缺陷,因此需要把数据库升级到8.0版本
旧版本与新版本的MySQL可能使用不同的默认字符集,例如有的旧版本中使用latin1作为默认字符集,而最新版本的MySQL默认字符集为utf8mb4。如果数据库中有中文数据,那么迁移过程中需要对 默认字符集
进行修改 ,不然可能无法正常显示数据。
高版本的MySQL数据库通常都会 兼容低版本
,因此可以从低版本的MySQL数据库迁移到高版本的MySQL数据库。
不同数据库之间迁移是指从其他类型的数据库迁移到MySQL数据库,或者从MySQL数据库迁移到其他类型的数据库。这种迁移没有普适的解决方法。
迁移之前,需要了解不同数据库的架构, 比较它们之间的差异
。不同数据库中定义相同类型的数据的 关键字可能会不同
。例如,MySQL中日期字段分为DATE和TIME两种,而ORACLE日期字段只有DATE;SQL Server数据库中有ntext、Image等数据类型,MySQL数据库没有这些数据类型;MySQL支持的ENUM和SET
类型,这些SQL Server数据库不支持。
另外,数据库厂商并没有完全按照SQL标准来设计数据库系统,导致不同的数据库系统的 SQL语句
有差别。例如,微软的SQL Server软件使用的是T-SQL语句,T-SQL中包含了非标准的SQL语句,不能和MySQL的SQL语句兼容。
不同类型数据库之间的差异造成了互相 迁移的困难
,这些差异其实是商业公司故意造成的技术壁垒。但是不同类型的数据库之间的迁移并 不是完全不可能
。例如,可以使用 MyODBC 实现MySQL和SQL Server之间的迁移。MySQL官方提供的工具 MySQL Migration Toolkit 也可以在不同数据之间进行数据迁移。MySQL迁移到Oracle时,需要使用mysqldump命令导出sql文件,然后, 手动更改 sql文件中的CREATE语句。
恢复数据比较安全的做法,是 恢复出一个备份
,或者找一个从库作为 临时库
,在这个临时库上执行这些操作,然后再将确认过的临时库的数据,恢复回主库。如果直接修改主库,可能导致对数据的 二次破坏
。
当然,针对预防误删数据的问题,建议如下:
把 sql_safe_updates
参数设置为 on
。这样一来,如果我们忘记在delete或者update语句中写where条件,或者where条件里面没有包含索引字段的话,这条语句的执行就会报错。
如果确定要把一个小表的数据全部删掉,在设置了sql_safe_updates=on情况下,可以在delete语句中加上where条件,比如where id>=0。
代码上线前,必须经过 SQL审计
。
这种情况下,要想恢复数据,就需要使用 全量备份
,加 增量日志
的方式了。这个方案要求线上有定期的全量备份,并且实时备份binlog。
在这两个条件都具备的情况下,假如有人中午12点误删了一个库,恢复数据的流程如下:
全量备份
,假设这个库是一天一备,上次备份是当天 凌晨2点 ;临时库
;如果有 非常核心
的业务,不允许太长的恢复时间,可以考虑搭建延迟复制的备库。一般的主备复制结构存在的问题是,如果主库上有个表被误删了,这个命令很快也会被发给所有从库,进而导致所有从库的数据表也都一起被误删了。
延迟复制的备库是一种特殊的备库,通过 CHANGE MASTER TO MASTER_DELAY = N
命令,可以指定这个备库持续保持跟主库有 N秒的延迟 。比如你把N设置为3600,这就代表了如果主库上有数据被误删了,并且在1小时内发现了这个误操作命令,这个命令就还没有在这个延迟复制的备库执行。这时候到这个备库上执行stop slave,再通过之前介绍的方法,跳过误操作命令,就可以恢复出需要的数据。
账号分离
。这样做的目的是,避免写错命令。比如:
只读账号
,必要的时候才使用有更新权限的账号。制定操作规范
。比如:
对表做改名
操作。然后,观察一段时间,确保对业务无影响以后再删除这张表。_to_be_deleted
),然后删除表的动作必须通过管理系统执行。并且,管理系统删除表的时候,只能删除固定后缀的表。对于一个有高可用机制的MySQL集群来说,不用担心 rm删除数据
了。只是删掉了其中某一个节点的数据的话,HA系统就会开始工作,选出一个新的主库,从而保证整个集群的正常工作。我们要做的就是在这个节点上把数据恢复回来,再接入整个集群。
该mysql不是指mysql服务,而是指mysql的客户端工具。
mysql [options] [database]
#参数 :
-u, --user=name 指定用户名
-p, --password[=name] 指定密码
-h, --host=name 指定服务器IP或域名
-P, --port=# 指定连接端口
#示例 :
mysql -h 127.0.0.1 -P 3306 -u root -p
mysql -h127.0.0.1 -P3306 -uroot -p密码
-e, --execute=name 执行SQL语句并退出
此选项可以在Mysql客户端执行SQL语句,而不用连接到MySQL数据库再执行,对于一些批处理脚本,这种方式尤其方便。
#示例:
mysql -uroot -p db01 -e "select * from tb_book";
mysqladmin 是一个执行管理操作的客户端程序。可以用它来检查服务器的配置和当前状态、创建并删除数据库等。
#示例 :
mysqladmin -uroot -p create 'test01';
mysqladmin -uroot -p drop 'test01';
mysqladmin -uroot -p version;
由于服务器生成的二进制日志文件以二进制格式保存,所以如果想要检查这些文本的文本格式,就会使用到mysqlbinlog 日志管理工具。
mysqlbinlog [options] log-files1 log-files2 ...
#选项:
-d, --database=name : 指定数据库名称,只列出指定的数据库相关操作。
-o, --offset=# : 忽略掉日志中的前n行命令。
-r,--result-file=name : 将输出的文本格式日志输出到指定文件。
-s, --short-form : 显示简单格式, 省略掉一些信息。
--start-datatime=date1 --stop-datetime=date2 : 指定日期间隔内的所有日志。
--start-position=pos1 --stop-position=pos2 : 指定位置间隔内的所有日志。
mysqldump 客户端工具用来备份数据库或在不同数据库之间进行数据迁移。备份内容包含创建表,及插入表的SQL语句。
mysqldump [options] db_name [tables]
mysqldump [options] --database/-B db1 [db2 db3...]
mysqldump [options] --all-databases/-A
#参数 :
-u, --user=name 指定用户名
-p, --password[=name] 指定密码
-h, --host=name 指定服务器IP或域名
-P, --port=# 指定连接端口
#参数:
--add-drop-database 在每个数据库创建语句前加上 Drop database 语句
--add-drop-table 在每个表创建语句前加上 Drop table 语句 , 默认开启 ; 不开启 (--
skip-add-drop-table)
-n, --no-create-db 不包含数据库的创建语句
-t, --no-create-info 不包含数据表的创建语句
-d --no-data 不包含数据
-T, --tab=name 自动生成两个文件:一个.sql文件,创建表结构的语句;
一个.txt文件,数据文件,相当于select into outfile
#示例 :
mysqldump -uroot -p db01 tb_book --add-drop-database --add-drop-table > a
mysqldump -uroot -p -T /tmp test city
mysqlimport 是客户端数据导入工具,用来导入mysqldump 加 -T 参数后导出的文本文件。
# 语法
mysqlimport [options] db_name textfile1 [textfile2...]
# 示例
mysqlimport -uroot -p test /tmp/city.txt
如果需要导入sql文件,可以使用mysql中的source 指令 :
source /root/tb_book.sql
mysqlshow 客户端对象查找工具,用来很快地查找存在哪些数据库、数据库中的表、表中的列或者索引。
mysqlshow [options] [db_name [table_name [col_name]]]
# 参数
--count 显示数据库及表的统计信息(数据库,表 均可以不指定)
-i 显示指定数据库或者指定表的状态信息