最近在参与负责某线上MySQL项目时,客户要求实现SQL数据备份、复原和前滚的全自动化。
在RHEL平台下使用Perl语言编写脚本同时结合cron指令来共同实现,整个过程很轻松顺利且效果也比较满意。
同时,由于所负责的另一个项目是线下DB2环境,那么在Windows Server平台下又该如何实现DB2数据库备份、复原和前滚的自动化呢?
因为Windows远没有Linux的命令行功能强大,所以实现起来稍微曲折些,但是基本上还是可以实现的。经过简单的编写和测试通过后,现抽空将实现思路和实验代码分享附上,希望工作中又此需要的DBA可以参考下。
一、实验目标
要求实现数据库维护流程的全自动化,保证安全准确,提高运维效率,降低人力成本。
1. 每日凌晨1点自动对DBS1数据库服务器进行在线备份(含归档日志)。
2. 每日凌晨2点自动将DBS1数据库服务器的在线备份文件定时拷贝至DBS2数据库服务器。
3. 每日凌晨3点自动对DBS2数据库服务器进行还原并前滚。
4. 每日凌晨0点自动对DBS1/DBS2数据库服务器的数据库备份目录进行检查并清理(仅保留最近3日的),目的是为后续的备份操作保留足够的磁盘空间。
5. 每日凌晨0点自动对DBS2数据库服务器的归档日志目录进行检查并清理(仅保留当日的),目的是为后续的归档日志提取及前滚操作保留足够的磁盘空间。
二、实验环境
主机名 | DB2版本 | OS版本 | IP地址 | 数据备份目录 | 归档日志目录 | 实例 | 用途 |
DBS1 | 8.1.11.973 | Windows Server 2003 R2(x64) | 10.0.0.11 | e:\dbbackup | NULL | sample | active |
DBS2 | 8.1.11.973 | Windows Server 2003 R2(x64) | 10.0.0.12 | e:\dbbackup | e:\logbackup | sample | deactive |
三、实验思路
首先,自动对DBS1数据库服务器进行在线备份(含归档日志)。
其次,自动将DBS1数据库服务器的备份文件拷贝至DBS2数据库服务器对应的目录。
最后,自动对DBS2数据库服务器进行还原及前滚。
同时,自动对数据备份目录、归档日志目录进行定期清理以保证磁盘可用空间。
* 在线备份数据库前,必须启用归档日志模式;
* 拷贝数据库备份前,必须在DBS1主机上建立DBS2主机的网络驱动器映射。
四、实验步骤
(一)在线备份数据库
DBS1
1. 编写备份脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库的自动在线备份――徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库的自动在线备份 :: ECHO :: :: ECHO :: ――徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::建立数据库连接 DB2 CONNECT TO netdb ::在线备份数据库且包含归档日志 DB2 BACKUP DATABASE netdb ONLINE TO e:\dbbackup INCLUDE LOGS ::自动判断脚本的执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ::若上一条命令执行失败返回状态码1时,则显示此错误提醒。 ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我无法完成NETDB数据库的自动在线备份操作(含归档日志) ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO -------------------------- 分割线 -------------------------- PAUSE ) ELSE ( ::若上一条命令执行成功返回状态码0时,则显示此正确提醒。 ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我已完成NETDB数据库的自动在线备份操作(含归档日志) ECHO 下面,请您确认本地已存在备份文件后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO -------------------------- 分割线 -------------------------- PAUSE )
保存于“C:\Program Files (x86)\IBM\SQLLIB\BIN\”目录下并命名为“autobackup.bat”文件。
注意:建议与db2cmd.exe位于同一目录,避免无法初始化命令环境而导致语句执行失败。
2. 添加作业计划,具体操作如下:
运行参数:"C:\Program Files (x86)\IBM\SQLLIB\BIN\db2cmd.exe" autobackup.bat
日程安排:每天,凌晨1点00分
执行权限:administrator
(二)拷贝数据库备份
DBS1
1. 编写映射脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库备份目录的自动映射――徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库备份目录的自动映射 :: ECHO :: :: ECHO :: ――徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::建立映射前先检查并删除目标盘符 NET USE Z: /DELETE ::将DBS2主机的E盘符映射至DBS1主机的Z盘符且保持持久连接 NET USE Z: \\DBS2\E$ xuqianjin2016 /USER:xuqianjin /PERSISTENT:YES ::自动判断脚本的执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ::若上一条命令执行失败返回状态码1时,则显示此错误提醒。 ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我无法完成DB2数据库备份目录的自动映射。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO -------------------------- 分割线 -------------------------- PAUSE ) ELSE ( ::若上一条命令执行成功返回状态码0时,则显示此正确提醒。 ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我已完成DB2数据库备份目录的自动映射。 ECHO 下面,请您确认本地Z盘符映射已存在后,按任意键和我说告别。 ECHO -------------------------- 分割线 -------------------------- PAUSE )
保存于“C:\Documents and Settings\All Users\「开始」菜单\程序\启动”目录下并命名为“automount.bat”文件。
2. 编写拷贝脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库备份文件的自动拷贝――徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库备份文件的自动拷贝 :: ECHO :: :: ECHO :: ――徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::打印当前日期 ECHO %date% ::定义年变量给xcopy引用 set yyyy=%date:~0,4% ::定义月变量给xcopy引用 set mm=%date:~5,2% ::定义日变量给xcopy引用 set dd=%date:~8,2% ::将修改日期为当日的目录递归复制且保持目录结构一致 xcopy e:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000\*.* z:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000 /s /i /v /f /y /d:%mm%-%dd%-%yyyy% ::自动判断脚本执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我无法完成NETDB数据库备份文件的自动拷贝操作。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO -------------------------- 分割线 -------------------------- PAUSE ) ELSE ( ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我已完成NETDB数据库备份文件的自动拷贝操作。 ECHO 下面,请确认已存在数据库备份文件后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO -------------------------- 分割线 -------------------------- PAUSE )
保存于“C:\Program Files (x86)\IBM\SQLLIB\BIN\”目录下并命名为“autocopy.bat”文件。
3. 添加作业计划,具体操作如下:
运行参数:C:\Program Files (x86)\IBM\SQLLIB\BIN\autobackup.bat
日程安排:每天,凌晨2点00分
执行权限:administrator
(三)还原及前滚数据库
DBS2
1. 编写还原及前滚脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库的自动复原及前滚――徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库的自动复原及前滚 :: ECHO :: :: ECHO :: ――徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::建立数据库连接 DB2 CONNECT TO netdb ::先还原数据库同时将归档日志提取到指定目录 DB2 RESTORE DATABASE netdb LOGS FROM e:\dbbackup LOGTARGET e:\logbackup ::等待30秒 ping -n 30 127.0.0.1 > null ::再前滚数据库且从指定目录读取归档日志 DB2 RECOVER DATABASE netdb TO END OF LOGS AND STOP OVERFLOW LOG PATH(e:\logbackup) ::完成数据库复原及前滚后再次建立数据库连接进行验证 DB2 CONNECT TO netdb ::自动判断脚本执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我无法完成NETDB数据库的自动复原及前滚操作。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO -------------------------- 分割线 -------------------------- PAUSE ) ELSE ( ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我已完成NETDB数据库的自动复原及前滚操作。 ECHO 下面,请您确认前滚状态为未暂挂后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO -------------------------- 分割线 -------------------------- PAUSE )
保存于“C:\Program Files (x86)\IBM\SQLLIB\BIN\”目录下并命名为“autorecover.bat”文件。
注意:建议与db2cmd.exe位于同一目录,避免无法初始化命令环境而导致语句执行失败。
2. 添加作业计划,具体操作如下:
运行参数:C:\Program Files (x86)\IBM\SQLLIB\BIN\autorecover.bat
日程安排:每天,凌晨3点00分
执行权限:administrator
(四)清理数据目录空间
1. 编写清理脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库备份历史文件的自动清理――徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库备份历史文件的自动清理 :: ECHO :: :: ECHO :: ――徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::共2步 ::第1步是清理DBS1主机的数据库备份目录 ::先递归删除DBS1主机3天前的文件 forfiles /p "e:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000" /m *.* /s /c "cmd /c del @path" /d -3 ::再递归删除DBS1主机3天前的空目录 dir /ad /b /s e:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000 | sort /r > e:\dbbackup\emptydirectorylist.txt For /f "tokens=*" %%i in (e:\dbbackup\emptydirectorylist.txt) DO rd "%%i" del e:\dbbackup\emptydirectorylist.txt ::等待30秒 ping -n 30 127.0.0.1 > null ::第2步是清理DBS2主机的数据库备份目录 ::先递归删除DBS2主机1天前的文件 forfiles /p "z:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000" /m *.* /s /c "cmd /c del @path" /d -1 ::再递归删除DBS2主机1天前的空目录 dir /ad /b /s z:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000 | sort /r > z:\dbbackup\emptydirectorylist.txt For /f "tokens=*" %%i in (z:\dbbackup\emptydirectorylist.txt) DO rd "%%i" del z:\dbbackup\emptydirectorylist.txt ::自动判断脚本执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我无法完成NETDB数据库备份历史文件的自动清理操作。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO -------------------------- 分割线 -------------------------- PAUSE ) ELSE ( ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我已完成NETDB数据库备份历史文件的自动清理操作。 ECHO 下面,请您确认历史备份文件已清理后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO -------------------------- 分割线 -------------------------- )
保存于“C:\WINDOWS\system32\”目录下并命名为“autocleandb.bat”文件。
注意:建议与forfiles.exe位于同一目录,避免无法初始化命令环境而导致语句执行失败。
2. 添加作业计划,具体操作如下:
运行参数:"C:\WINDOWS\system32\forfiles.exe" autocleandb.bat
日程安排:每天,凌晨0点00分
执行权限:administrator
(五)清理日志目录空间
1. 编写清理脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库归档日志的自动清理――徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库归档日志的自动清理 :: ECHO :: :: ECHO :: ――徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::仅清理DBS2主机归档日志目录中1天前的文件 forfiles /p "z:\logbackup" /m *.* /s /c "cmd /c del @path" /d -1 ::自动判断脚本执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我无法完成NETDB数据库归档日志的自动清理操作。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO -------------------------- 分割线 -------------------------- PAUSE ) ELSE ( ECHO -------------------------- 分割线 -------------------------- ECHO 您好,我已完成NETDB数据库归档日志的自动清理操作。 ECHO 下面,请您确认历史归档日志已清理后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO -------------------------- 分割线 -------------------------- PAUSE )
保存于“C:\WINDOWS\system32\”目录下并命名为“autocleanlog.bat”文件。
注意:建议与forfiles.exe应用程序位于同一目录,避免无法初始化命令环境导致语句执行失败。
2. 添加自动调度任务计划,具体操作如下:
运行参数:"C:\WINDOWS\system32\forfiles.exe" autocleanlog.bat
日程安排:每天,凌晨0点00分
执行权限:administrator
(附录)
关于RESTORE/ROLLFORWARD/RECOVER区别
DB2 v8.2前,执行数据库还原及前滚共需2步(RESTORE+ROLLFORWARD),具体如下:
DB2 RESTORE DATABASE sample FROM e:\dbbackup LOGTARGET e:\logbackup // 还原数据库并提取归档日志
DB2 RESTORE DATABASE sample LOGS FROM e:\dbbackup LOGTARGET e:\logbackup // 仅提取归档日志
DB2 ROLLFORWARD DATABASE sample TO END OF LOGS AND STOP OVERFLOW LOG PATH(e:\logbackup)
DB2 v8.2后,执行数据库还原及前滚仅需1步(RECOVER=RESTORE+ROLLFORWARD)
DB2 RECOVER DATABASE sample TO END OF LOGS AND STOP OVERFLOW LOG PATH(e:\logbackup)
――――徐前进(撰写于2016/04/05)