最近在参与负责某线上MySQL项目时,客户要求实现MySQL数据库备份、复原和前滚的全流程自动化。
在RHEL下使用Perl语言编写脚本结合CRON指令来共同实现MySQL数据库备份、复原和前滚流程的自动化,整个过程很轻松顺利且效果也比较满意。同时,由于所负责的另一个项目是线下DB2环境,那么在Windows Server下该如何实现DB2数据库备份、复原和前滚流程的自动化呢?
因为Windows的命令行功能远没有Linux强大,所以实现起来稍微曲折些,但是基本上还是可以实现的。经过简单的编写和调试通过后,现抽空将实现思路和实验代码整理分享如下,建议工作中有此需要的DBA可以参考下。
脚本编程是实现自动化运维的主要手段之一,优势在于高效率、低成本和自动化。特别是能够根据业务负载大小及生产繁忙与否,进行合理设计并安排运维作业窗口;同时,在规模化运维环境中可大大减少运维人力成本,降低人为误操作、忘操作或未按时操作所带来的未知风险。
一、实验目标
要求实现DB2数据库备份、复原和前滚等作业流程的自动化,保证安全准确,提高运维效率,降低人力成本。
1. 每日凌晨1点自动对DBS1主机的DB2数据库进行在线备份(含归档日志)。
2. 每日凌晨2点自动将DBS1主机的DB2数据库备份文件按时拷贝至DBS2主机的DB2数据库备份目录中。
3. 每日凌晨3点自动对DBS2主机的DB2数据库进行复原和前滚。
4. 每日凌晨0点自动对DBS1/DBS2主机的DB2数据库备份目录进行检查及清理(仅保留最近3日的),目的是为后续的DB2数据库备份操作保留足够的可用磁盘空间。
5. 每日凌晨0点自动对DBS2主机的DB2数据库归档日志备份目录进行检查及清理(仅保留当日的),目的是为后续的DB2归档日志提取操作保留足够的可用磁盘空间。
二、实验环境
主机名 | DB2版本 | OS版本 | IP地址 | 数据备份目录 | 归档日志目录 | 实例 | 用途 |
DBS1 | 8.1.11.973 | Windows Server 2003 R2(x64) | 10.0.0.11 | e:\dbbackup | NULL | sample | active |
DBS2 | 8.1.11.973 | Windows Server 2003 R2(x64) | 10.0.0.12 | e:\dbbackup | e:\logbackup | sample | deactive |
三、实验思路
首先,自动对DBS1主机的DB2数据库进行在线备份(含归档日志)。
其次,自动将DBS1主机的DB2数据库备份文件拷贝至DBS2主机的DB2数据库备份目录中。
最后,自动对DBS2主机的DB2数据库进行复原及前滚。
同时,自动对DBS1/DBS2主机的DB2数据库备份目录、归档日志备份目录进行定时清理以保证磁盘可用空间。
* 在线备份DB2数据库前,必须启用归档日志模式;
* 拷贝DB2数据库备份前,必须在DBS1主机上建立DBS2主机的网络盘符映射。
DBS1自动作业计划安排如下
DBS2自动作业计划安排如下
四、实验步骤
(一)自动备份DB2数据库
DBS1
1. 编写DB2数据库自动备份脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库的自动在线备份——徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库的自动在线备份 :: ECHO :: :: ECHO :: ——徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :: [email protected] :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::建立数据库连接 DB2 CONNECT TO netdb ::在线备份数据库且包含归档日志 DB2 BACKUP DATABASE netdb ONLINE TO e:\dbbackup INCLUDE LOGS ::自动判断脚本的执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ::若上一条命令执行失败返回状态码1时,则显示此错误提醒。 ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我无法完成NETDB数据库的自动在线备份操作(含归档日志) ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT ) ELSE ( ::若上一条命令执行成功返回状态码0时,则显示此正确提醒。 ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我已完成NETDB数据库的自动在线备份操作(含归档日志) ECHO 下面,请您确认本地已存在备份文件后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT )
保存于“C:\Program Files (x86)\IBM\SQLLIB\BIN\”目录下并命名为“autobackup.bat”文件。
注意:建议与db2cmd.exe位于同一目录,避免无法初始化命令环境而导致语句执行失败。
2. 添加作业计划,具体操作如下:
运行参数:"C:\Program Files (x86)\IBM\SQLLIB\BIN\db2cmd.exe" autobackup.bat
日程安排:每天,凌晨1点00分
执行权限:administrator
3. DB2数据库自动备份脚本的执行效果演示
(二)自动拷贝DB2数据库备份
DBS1
1-1. 编写网络盘符映射脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库备份目录的自动映射——徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库备份目录的自动映射 :: ECHO :: :: ECHO :: ——徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :: [email protected] :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::建立映射前先检查并删除目标盘符 NET USE z: /DELETE ::将DBS2主机的E盘符映射至DBS1主机的Z盘符且保持持久连接 NET USE z: \\DBS2\e$ xuqianjin /USER:administrator /PERSISTENT:YES ::自动判断脚本的执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ::若上一条命令执行失败返回状态码1时,则显示此错误提醒。 ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我无法完成DB2数据库备份目录的自动映射。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT ) ELSE ( ::若上一条命令执行成功返回状态码0时,则显示此正确提醒。 ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我已完成DB2数据库备份目录的自动映射。 ECHO 下面,请您确认本地Z盘符映射已存在后,按任意键和我说告别。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT )
保存于“C:\Documents and Settings\All Users\「开始」菜单\程序\启动”目录下并命名为“automount.bat”文件。
1-2. 网络盘符映射脚本的执行效果演示
2-1. 编写DB2数据库备份自动拷贝脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库备份文件的自动拷贝——徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库备份文件的自动拷贝 :: ECHO :: :: ECHO :: ——徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :: [email protected] :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::打印当前日期 ECHO %date% ::定义年变量给xcopy引用 set yyyy=%date:~0,4% ::定义月变量给xcopy引用 set mm=%date:~5,2% ::定义日变量给xcopy引用 set dd=%date:~8,2% ::将修改日期为当日的目录递归复制且保持目录结构一致 xcopy e:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000\*.* z:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000 /s /i /v /f /y /d:%mm%-%dd%-%yyyy% ::自动判断脚本执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我无法完成NETDB数据库备份文件的自动拷贝操作。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT ) ELSE ( ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我已完成NETDB数据库备份文件的自动拷贝操作。 ECHO 下面,请确认已存在数据库备份文件后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT )
保存于“C:\Program Files (x86)\IBM\SQLLIB\BIN\”目录下并命名为“autocopy.bat”文件。
2-2. 添加作业计划,具体操作如下:
运行参数:C:\Program Files (x86)\IBM\SQLLIB\BIN\autobackup.bat
日程安排:每天,凌晨2点00分
执行权限:administrator
2-3. DB2数据库备份自动拷贝脚本的执行效果演示
(三)自动复原及前滚DB2数据库
DBS2
1. 编写DB2数据库自动复原及前滚脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库的自动复原及前滚——徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库的自动复原及前滚 :: ECHO :: :: ECHO :: ——徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :: [email protected] :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::先从数据库备份文件中提取归档日志到指定目录 DB2 RESTORE DATABASE netdb LOGS FROM e:\dbbackup LOGTARGET e:\logbackup ::再复原数据库并从指定目录读取归档日志来前滚事务 DB2 RECOVER DATABASE netdb TO END OF LOGS AND STOP OVERFLOW LOG PATH(e:\logbackup) ::建立数据库连接来验证复原及前滚结果 DB2 CONNECT TO netdb ::自动判断脚本执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我无法完成NETDB数据库的自动复原及前滚操作。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT ) ELSE ( ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我已完成NETDB数据库的自动复原及前滚操作。 ECHO 下面,请您确认前滚状态为未暂挂后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT )
保存于“C:\Program Files (x86)\IBM\SQLLIB\BIN\”目录下并命名为“autorecover.bat”文件。
注意:建议与db2cmd.exe位于同一目录,避免无法初始化命令环境而导致语句执行失败。
2. 添加作业计划,具体操作如下:
运行参数:C:\Program Files (x86)\IBM\SQLLIB\BIN\autorecover.bat
日程安排:每天,凌晨3点00分
执行权限:administrator
3. DB2数据库自动复原及前滚脚本的执行结果演示
(四)自动清理DB2数据库备份目录
1. 编写DB2数据库备份目录自动清理脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库备份历史文件的自动清理——徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库备份历史文件的自动清理 :: ECHO :: :: ECHO :: ——徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :: [email protected] :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::共2步 ::第1步是清理DBS1主机的数据库备份目录 ::先递归删除DBS1主机中3天前的数据库备份文件 FORFILES /P e:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000 /M *.* /S /C "cmd /c del @file" /D -3 ::再递归删除DBS1主机中3天前的空目录 dir /ad /b /s e:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000 | sort /r > e:\dbbackup\emptydirectorylist.txt For /f "tokens=*" %%i in (e:\dbbackup\emptydirectorylist.txt) DO rd "%%i" del e:\dbbackup\emptydirectorylist.txt ::第2步是清理DBS2主机的数据库备份目录 ::先递归删除DBS2主机中1天前的数据库备份文件 FORFILES /P z:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000 /M *.* /S /C "cmd /c del @file" /D -1 ::再递归删除DBS2主机1天前的空目录 dir /ad /b /s z:\dbbackup\NETDB.0\DB2\NODE0000\CATN0000 | sort /r > z:\dbbackup\emptydirectorylist.txt For /f "tokens=*" %%i in (z:\dbbackup\emptydirectorylist.txt) DO rd "%%i" del z:\dbbackup\emptydirectorylist.txt ::自动判断脚本执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我无法完成NETDB数据库备份历史文件的自动清理操作。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT ) ELSE ( ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我已完成NETDB数据库备份历史文件的自动清理操作。 ECHO 下面,请您确认历史备份文件已清理后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT )
保存于“C:\WINDOWS\system32\”目录下并命名为“autocleandb.bat”文件。
注意:建议与forfiles.exe位于同一目录,避免无法初始化命令环境而导致语句执行失败。
2. 添加作业计划,具体操作如下:
运行参数:"C:\WINDOWS\system32\forfiles.exe" autocleandb.bat
日程安排:每天,凌晨0点00分
执行权限:administrator
3. DB2数据库备份目录自动清理脚本的执行结果演示
(五)自动清理DB2数据库归档日志备份目录
1. 编写DB2数据库归档日志备份目录自动清理脚本,具体内容如下:
::关闭回显且不显示命令本身 @ECHO OFF ::定义窗口的标题 TITLE 本脚本用于实现DB2数据库归档日志的自动清理——徐前进编写于2016年4月1日 ::定义窗口的背景色和前景色 COLOR 0A ::定义脚本说明 ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ECHO :: :: ECHO :: 本脚本用于实现DB2数据库归档日志的自动清理 :: ECHO :: :: ECHO :: ——徐前进编写于2016年4月1日 :: ECHO :: :: ECHO :: [email protected] :: ECHO :: :: ECHO :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ::仅清理DBS2主机日志目录中1天前的归档日志 FORFILES /P z:\logbackup /M *.log /S /C "cmd /c del @file" /D 0 ::自动判断脚本执行结果并友好反馈给用户 IF ERRORLEVEL 1 ( ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我无法完成NETDB数据库归档日志的自动清理操作。 ECHO 下面,请您检查并分析导致此错误的原因,按任意键和我说告别。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT ) ELSE ( ECHO -------------------------- 分割线 -------------------------- ECHO - ECHO 您好,我已完成NETDB数据库归档日志的自动清理操作。 ECHO 下面,请您确认历史归档日志已清理后,按任意键和我说告别。 ECHO 另外,我也需要休息一会,以便明日继续执行此周期性任务。 ECHO - ECHO -------------------------- 分割线 -------------------------- PAUSE & EXIT )
保存于“C:\WINDOWS\system32\”目录下并命名为“autocleanlog.bat”文件。
注意:建议与forfiles.exe应用程序位于同一目录,避免无法初始化命令环境导致语句执行失败。
2. 添加自动调度任务计划,具体操作如下:
运行参数:"C:\WINDOWS\system32\forfiles.exe" autocleanlog.bat
日程安排:每天,凌晨0点00分
执行权限:administrator
3. DB2数据库归档日志备份目录自动清理脚本的执行结果演示
附录:关于RESTORE/ROLLFORWARD/RECOVER区别
RESTORE命令用于实现DB2数据库的复原操作。
ROLLFORWARD命令用于实现DB2数据库的前滚操作。
RECOVER命令用于实现DB2数据库的复原和前滚操作。
在DB2 v8.2前,执行DB2数据库复原及前滚共需2步(RESTORE+ROLLFORWARD),具体如下:
DB2 RESTORE DATABASE sample FROM e:\dbbackup LOGTARGET e:\logbackup // 复原DB2数据库并提取DB2归档日志
DB2 RESTORE DATABASE sample LOGS FROM e:\dbbackup LOGTARGET e:\logbackup // 仅提取DB2归档日志
DB2 ROLLFORWARD DATABASE sample TO END OF LOGS AND STOP OVERFLOW LOG PATH(e:\logbackup)
在DB2 v8.2后,执行DB2数据库复原及前滚仅需1步(RECOVER=RESTORE+ROLLFORWARD),具体如下:
DB2 RECOVER DATABASE sample TO END OF LOGS AND STOP OVERFLOW LOG PATH(e:\logbackup)
————徐前进(撰写于2016/04/05)