实战-MySQL定时进行全量与增量备份

实战-MySQL定时进行全量与增量备份

原文链接： mp.weixin.qq.com

一、引言
二、全量备份
三、恢复全量备份
四、增量备份
五、恢复增量备份
六、定时备份
七、Docker 中的实现
一、引言
在产品上线之后，我们的数据是相当重要的，容不得半点闪失，应该做好万全的准备，搞不好哪一天被黑客入侵或者恶意删除，那就 gg 了。所以要对我们的线上数据库定时做全量备份与增量备份。例如：每天做一次增量备份，每周做一次全量备份。
GitHub 地址：

1. https://github.com/zonezoen/MySQL_backup
   二、全量备份
2. /usr/bin/mysqldump -uroot -p123456 --lock-all-tables --flush-logs test > /home/backup.sql
   如上一段代码所示，其功能是将 test 数据库全量备份。其中 MySQL 用户名为：root ，密码为：123456。备份的文件路径为：/home ，当然这个路径也是可以按照个人意愿修改的。备份的文件名为 backup.sql
   参数 —flush-logs：使用一个新的日志文件来记录接下来的日志；
   参数 —lock-all-tables：锁定所有数据库;
   以下为我使用的脚本文件：
   脚本文件功能不是很复杂，首先是各种变量赋值。然后备份数据库，接着是进入到备份文件所在的目录，再将备份文件压缩。其中倒数第三行是使用 nodejs 将备份的文件上传到七牛云中，这里就不在过多的阐述了，与本文主题不符，想看具体实现可以查看 GitHub 源码。

3. !/bin/bash

4. 在使用之前，请提前创建以下各个目录

5. 获取当前时间

6. date_now=$(date "+%Y%m%d-%H%M%S")
7. backUpFolder=/home/db/backup/mysql
8. username="root"
9. password="123456"
10. db_name="zone"

11. 定义备份文件名

12. fileName="{date_now}.sql"

13. 定义备份文件目录

14. backUpFileName="{fileName}"
15. echo "starting backup mysql {date_now}."
16. /usr/bin/mysqldump -u{password} --lock-all-tables --flush-logs {backUpFileName}

17. 进入到备份文件目录

18. cd ${backUpFolder}

19. 压缩备份文件

20. tar zcvf {fileName}

22. use nodejs to upload backup file other place

23. NODE_ENV=backUpFileName node /home/tasks/upload.js

24. date_end=$(date "+%Y%m%d-%H%M%S")
25. echo "finish backup mysql database {date_end}."
    三、恢复全量备份
26. mysql -h localhost -uroot -p123456 < bakdup.sql
    或者
27. mysql> source /path/backup/bakdup.sql
    嗯，回复全量备份也就这样两句，似乎不用多说什么了。对了，在恢复全量备份之后，要将全量备份之后的增量备份也恢复回数据库中。
    四、增量备份
    首先在进行增量备份之前需要查看一下配置文件，查看 logbin 是否开启，因为要做增量备份首先要开启 logbin 。首先，进入到 myslq 命令行，输入如下命令：
28. show variables like '%log_bin%';
    如下命令所示，则为未开启
29. mysql> show variables like '%log_bin%';
30. +---------------------------------+-------+
31. | Variable_name | Value |
32. +---------------------------------+-------+
33. | log_bin | OFF |
34. | log_bin_basename | |
35. | log_bin_index | |
36. | log_bin_trust_function_creators | OFF |
37. | log_bin_use_v1_row_events | OFF |
38. | sql_log_bin | ON |
39. +---------------------------------+-------+
    修改 MySQL 配置项到如下代码段：vim /etc/mysql/mysql.conf.d/mysqld.cnf

40. Copyright (c) 2014, 2016, Oracle and/or its affiliates. All rights reserved.

42. This program is free software; you can redistribute it and/or modify

43. it under the terms of the GNU General Public License as published by

44. the Free Software Foundation; version 2 of the License.

46. This program is distributed in the hope that it will be useful,

47. but WITHOUT ANY WARRANTY; without even the implied warranty of

48. MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the

49. GNU General Public License for more details.

51. You should have received a copy of the GNU General Public License

52. along with this program; if not, write to the Free Software

53. Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA

56. The MySQL Server configuration file.

58. For explanations see

59. http://dev.mysql.com/doc/mysql/en/server-system-variables.html

61. [mysqld]
62. pid-file = /var/run/mysqld/mysqld.pid
63. socket = /var/run/mysqld/mysqld.sock
64. datadir = /var/lib/mysql

65. log-error = /var/log/mysql/error.log

66. By default we only accept connections from localhost

67. bind-address = 127.0.0.1

68. Disabling symbolic-links is recommended to prevent assorted security risks

69. symbolic-links=0

71. binlog setting，开启增量备份的关键

72. log-bin=/var/lib/mysql/mysql-bin
73. server-id=123454
    修改之后，重启 mysql 服务，输入：
74. show variables like '%log_bin%';
    状态如下：
75. mysql> show variables like '%log_bin%';
76. +---------------------------------+--------------------------------+
77. | Variable_name | Value |
78. +---------------------------------+--------------------------------+
79. | log_bin | ON |
80. | log_bin_basename | /var/lib/mysql/mysql-bin |
81. | log_bin_index | /var/lib/mysql/mysql-bin.index |
82. | log_bin_trust_function_creators | OFF |
83. | log_bin_use_v1_row_events | OFF |
84. | sql_log_bin | ON |
85. +---------------------------------+--------------------------------+
    好了，做好了充足的准备，那我们就开始学习增量备份了。
    查看当前使用的 mysql_bin.000* 日志文件，
86. show master status;
    状态如下：
87. mysql> show master status;
88. +------------------+----------+--------------+------------------+-------------------+
89. | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
90. +------------------+----------+--------------+------------------+-------------------+
91. | mysql-bin.000015 | 610 | | | |
92. +------------------+----------+--------------+------------------+-------------------+
    当前正在记录日志的文件名为 mysql-bin.000015 。
    当前数据库中有如下数据：
93. mysql> select * from users;
94. +-------+------+----+
95. | name | sex | id |
96. +-------+------+----+
97. | zone | 0 | 1 |
98. | zone1 | 1 | 2 |
99. | zone2 | 0 | 3 |
100. +-------+------+----+
     我们插入一条数据：
101. insert into zone.users ( name, sex, id) values ( 'zone3', '0', '4');
     查看效果：
102. mysql> select * from users;
103. +-------+------+----+
104. | name | sex | id |
105. +-------+------+----+
106. | zone | 0 | 1 |
107. | zone1 | 1 | 2 |
108. | zone2 | 0 | 3 |
109. | zone3 | 0 | 4 |
110. +-------+------+----+
     ` 我们执行如下命令，使用新的日志文件：
111. mysqladmin -uroot -123456 flush-logs
     日志文件从 mysql-bin.000015 变为 mysql-bin.000016，而 mysql-bin.000015 则记录着刚刚 insert 命令的日志。上句代码的效果如下：
112. mysql> show master status;
113. +------------------+----------+--------------+------------------+-------------------+
114. | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
115. +------------------+----------+--------------+------------------+-------------------+
116. | mysql-bin.000016 | 154 | | | |
117. +------------------+----------+--------------+------------------+-------------------+
     那么到现在为止，其实已经完成了增量备份了。
     五、恢复增量备份
     那么现在将刚刚插入的数据删除，效果如下：
118. delete from zone.users where id='4'
119. mysql> select * from users;
120. +-------+------+----+
121. | name | sex | id |
122. +-------+------+----+
123. | zone | 0 | 1 |
124. | zone1 | 1 | 2 |
125. | zone2 | 0 | 3 |
126. +-------+------+----+
     那么现在就是重点时间了，从 mysql-bin.000015 中恢复数据：
127. mysqlbinlog /var/lib/mysql/mysql-bin.000015 | mysql -uroot -p123456 zone;
     上一句代码指定了，需要恢复的 mysql_bin 文件，指定了用户名：root 、密码：123456 、数据库名：zone。效果如下：
128. mysql> select * from users;
129. +-------+------+----+
130. | name | sex | id |
131. +-------+------+----+
132. | zone | 0 | 1 |
133. | zone1 | 1 | 2 |
134. | zone2 | 0 | 3 |
135. | zone3 | 0 | 4 |
136. +-------+------+----+
     OK，整一个增量备份的操作流程都在这里了，那么我们如何将它写成脚本文件呢，代码如下：

137. !/bin/bash

138. 在使用之前，请提前创建以下各个目录

139. BakDir=/usr/local/work/backup/daily

140. 增量备份时复制mysql-bin.00000*的目标目录，提前手动创建这个目录

141. BinDir=/var/lib/mysql

142. mysql的数据目录

143. LogFile=/usr/local/work/backup/bak.log
144. BinFile=/var/lib/mysql/mysql-bin.index

145. mysql的index文件路径，放在数据目录下的

147. mysqladmin -uroot -p123456 flush-logs

148. 这个是用于产生新的mysql-bin.00000*文件

149. wc -l 统计行数

150. awk 简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

151. Counter=wc -l $BinFile |awk '{print $1}'
152. NextNum=0

153. 这个for循环用于比对NextNum这两个值来确定文件是不是存在或最新的

154. for file in cat $BinFile
155. do

156. base=`basename $file`
     

157. echo $base
     

158. #basename用于截取mysql-bin.00000*文件名，去掉./mysql-bin.000005前面的./
     

159. NextNum=`expr $NextNum + 1`
     

160. if [ $NextNum -eq $Counter ]
     

161. then
     

162.     echo $base skip! >> $LogFile
     

163. else
     

164.     dest=$BakDir/$base
     

165.     if(test -e $dest)
     

166.     #test -e用于检测目标文件是否存在，存在就写exist!到$LogFile去
     

167.     then
     

168.         echo $base exist! >> $LogFile
     

169.     else
     

170.         cp $BinDir/$base $BakDir
     

171.         echo $base copying >> $LogFile
     

172.      fi
     

173.  fi
     

174. done
175. echo date +"%Y年%m月%d日 %H:%M:%S" LogFile

177. NODE_ENV=backUpFileName /root/.nvm/versions/node/v8.11.3/bin/node /usr/local/work/script/upload.js

六、定时备份
输入如下命令，进入定时任务编辑界面：

1. crontab -e
   添加如下命令，其意思为：每分钟执行一次备份脚本，crontab 的具体规则就另外写文了，与本文主题不太相关。
2. • • • • • sh /usr/your/path/mysqlbackup.sh
             七、Docker 中的实现
             在 Docker 中实现，其实也是差多的，我就不在将上面的步骤重新赘述一遍了，我就直接将我在 Docker 中遇到的坑展示给大家吧。
             1、安装 vim
             我使用的是 MySQL 的官方镜像，Docker - MySQL 镜像中使用的事 Debian 系统，其版本比较老旧是，没有佩带 vim 的。首先我们要执行以下代码来安装 vim ：
3. apt-get update
4. apt-get install vim
   安装好 vim 之后，就可以愉快地编辑 vim /etc/mysql/mysql.conf.d/mysqld.cnf 了。忘了提一点，这个文件是不能映射到容器里面的，因为容器里面本身有这个文件。
   2、修改时区
   在我们备份数据库的时候，有用到时间因素，但是 Docker 容器中默认为 +0 时区，而我们是 +8 时区，我们将宿主机的时区文件映射过去就行。
5. -v /etc/localtime:/etc/localtime:ro
   也可以通过进入容器来修改时区，这个就看个人选择了，具体修改方法博客地址里面：http://coolnull.com/235.html
   3、定时备份
   在容器中如何实现定时备份呢？有人会说，使用 crontab 呀？如果你是这么想的，那么很遗憾，在 Docker - MySQL 的官方镜像中是没有 crontab 的。有人又说，那我们装一个 crontab不就行了吗？但是 Docker 鼓励“一个容器一个进程(one process per container)”的方式。于是在查找资料无果之后，我转念一想，将定时任务分配到我们的宿主机不就行了？让宿主机定时往容器里面传递命令，就达到我们的目的了。
   输入如下命令，进入定时任务编辑界面：
6. crontab -e
   添加如下命令，其内容为：每分钟执行一次备份脚本
7. • • • • • docker exec ${docker_name} /bin/sh /usr/your/path/mysqlbackup.sh