实时主备系统由主库、实时备库、守护进程和监视器组成。通过部署实时主备系统,可以及时检测并处理各种硬件故障、数据库实例异常,确保持续提供数据库服务。
DM 数据守护(DM Data Watch)的实现原理非常简单:将主库(生产库)产生的 Redo日志传输到备库,备库接收并重新应用 Redo 日志,从而实现备库与主库的数据同步。DM数据守护的核心思想是监控数据库状态,获取主、备库数据同步情况,为 Redo 日志传输与重演过程中出现的各种异常情况提供一系列的解决方案。
DM 数据守护系统主要由主库、备库、Redo 日志、Redo 日志传输、 Redo 日志重演、守护进程(dmwatcher)、监视器(dmmonitor)组成。
DM 数据守护系统结构参考图
一、环境准备
操作系统: Linux version 4.19.90-24.4.v2101.ky10.x86_64
数据库版本:dm8
二、环境、端口配置
数据 库名 |
INSTANCE_ NAME |
PORT_ NUM |
MAL_INST_ DW_PORT |
MAL_HOST |
MAL_ PORT |
MAL_DW_ PORT |
状态 |
DMDW |
GRP1_RT_01 |
5236 |
45101 |
172.31.21.202 |
55101 |
65101 |
主库 |
DMDW |
GRP1_RT_03 |
5236 |
45121 |
172.31.21.203 |
55121 |
65121 |
备库 |
三、初始化主库实例
./dminit path=/dm8/data db_name=DMDW instance_name= GRP1_RT_01 port_num=5236 SYSDBA_PWD=***
注册数据库服务
./dm_service_installer.sh -t dmserver -dm_ini /dm8/data/ DMDW /dm.ini -p GRP1_RT_01
四、初始化备库实例
./dminit path=/dm8/data db_name=DMDW instance_name= GRP1_RT_01 port_num=5236 SYSDBA_PWD=***
注册数据库服务
./dm_service_installer.sh -t dmserver -dm_ini /dm8/data/ DMDW /dm.ini -p GRP1_RT_03
五、主库备份
关闭主库
systemctl stop DmServiceGRP1_RT_01.service
备份主库
./dmrman CTLSTMT="BACKUP DATABASE '/dm8/data/DMDW/dm.ini' FULL TO BACKUP_FILE1 BACKUPSET '/dm8/backup/BACKUP_FILE_01'"
拷贝备份文件到备库
scp /dm8/backup/BACKUP_FILE_01/* 172.31.21.203://dm8/backup/
六、备库还原
关闭备库
systemctl stop DmServiceGRP1_RT_03.service
还原备库
./dmrman CTLSTMT="RESTORE DATABASE '/dm8/data/DMDW/dm.ini' FROM BACKUPSET '/dm8/backup'"
./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DMDW/dm.ini' FROM BACKUPSET '/dm8/backup'"
./dmrman CTLSTMT="RECOVER DATABASE '/dm8/data/DMDW/dm.ini' UPDATE DB_MAGIC"
七、主库配置(172.31.21.202)
修改vi dm.ini
----------
INSTANCE_NAME = GRP1_RT_01 #实例名
PORT_NUM = 5236 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志发送信息
配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致
----------
MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1] #主库MAL配置
MAL_INST_NAME = GRP1_RT_01 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 172.31.21.202 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 55101 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 172.31.21.202 #实例的对外服务 IP 地址
MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 65101 #实例本地的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 45101 #实例监听守护进程 TCP 连接的端口
[MAL_INST2] #备库MAL配置
MAL_INST_NAME = GRP1_RT_03 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 172.31.21.203 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 55121 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 172.31.21.203 #实例的对外服务 IP 地址
MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 65121 #实例本地的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 45121 #实例监听守护进程 TCP 连接的端口
配置本地归档和实时归档dmarch.ini
----------
[ARCHIVE_REALTIME]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_RT_03 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~2147483647M
创建dmwatcher.ini配置守护进程,配置为全局守护类型,使用自动切换模式。
----------
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453331 #守护系统唯一 OGUID 值
INST_INI = /dm8/data/DMDW/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
以mount方式启动主库
一定要以 Mount 方式启动数据库实例,否则系统启动时会重构回滚表空间,生成 Redo 日志;并且,启动后应用可能连接到数据库实例进行操作,破坏主备库的数据一致性。数据守护配置结束后,守护进程会自动Open 数据库。
./dmserver /dm8/data/DMDW/dm.ini mount
修改数据守护唯一标识码OGUID
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(453331);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
修改为PRIMARY模式
SQL>alter database primary;
八、备库配置(172.31.21.203)
修改vi dm.ini
----------
INSTANCE_NAME = GRP1_RT_03 #实例名,
PORT_NUM = 5236 #数据库实例监听端口
DW_INACTIVE_INTERVAL = 60 #接收守护进程消息超时时间
ALTER_MODE_STATUS = 0 #不允许手工方式修改实例模式/状态/OGUID
ENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间
MAL_INI = 1 #打开 MAL 系统
ARCH_INI = 1 #打开归档配置
RLOG_SEND_APPLY_MON = 64 #统计最近 64 次的日志重演信息
配置 MAL 系统,各主备库的 dmmal.ini 配置必须完全一致
----------
MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔
MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间
[MAL_INST1] #主库MAL配置
MAL_INST_NAME = GRP1_RT_01 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 172.31.21.202 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 55101 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 172.31.21.202 #实例的对外服务 IP 地址
MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 65101 #实例本地的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 45101 #实例监听守护进程 TCP 连接的端口
[MAL_INST2] #备库MAL配置
MAL_INST_NAME = GRP1_RT_03 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致
MAL_HOST = 172.31.21.203 #MAL 系统监听 TCP 连接的 IP 地址
MAL_PORT = 55121 #MAL 系统监听 TCP 连接的端口
MAL_INST_HOST = 172.31.21.203 #实例的对外服务 IP 地址
MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致
MAL_DW_PORT = 65121 #实例本地的守护进程监听 TCP 连接的端口
MAL_INST_DW_PORT = 45121 #实例监听守护进程 TCP 连接的端口
配置本地归档和实时归档 dmarch.ini
----------
[ARCHIVE_REALTIME]
ARCH_TYPE = REALTIME #实时归档类型
ARCH_DEST = GRP1_RT_01 #实时归档目标实例名
[ARCHIVE_LOCAL1]
ARCH_TYPE = LOCAL #本地归档类型
ARCH_DEST = /dm8/arch #本地归档文件存放路径
ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值
ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~2147483647M
配置守护进程dmwatcher.ini,配置为全局守护类型,使用自动切换模式。
----------
[GRP1]
DW_TYPE = GLOBAL #全局守护类型
DW_MODE = AUTO #自动切换模式
DW_ERROR_TIME = 10 #远程守护进程故障认定时间
INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间
INST_ERROR_TIME = 10 #本地实例故障认定时间
INST_OGUID = 453331 #守护系统唯一 OGUID 值
INST_INI = /dm8/data/DMDW/dm.ini #dm.ini 配置文件路径
INST_AUTO_RESTART = 1 #打开实例的自动启动功能
INST_STARTUP_CMD = /dm8/bin/dmserver #命令行方式启动
RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阈值,默认关闭
RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阈值,默认关闭
以 Mount 方式启动备库
一定要以 Mount 方式启动数据库实例,否则系统启动时会重构回滚表空间,生成 Redo 日志;并且,启动后应用可能连接到数据库实例进行操作,破坏主备库的数据一致性。数据守护配置结束后,守护进程会自动Open 数据库。
./dmserver /dm8/data/DMDW/dm.ini mount
修改数据守护唯一标识码OGUID
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1);
SQL>sp_set_oguid(453331);
SQL>SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
修改为STANDBY模式
SQL>alter database standby;
启动主库守护进程
./dmwatcher /dm8/data/DMDW/dmwatcher.ini
启动备库守护进程
./dmwatcher /dm8/data/DMDW/dmwatcher.ini
九、监视器配置(172.31.21.201)
由于主库和实时备库的守护进程配置为自动切换模式,因此这里选择配置确认监视器。 和普通监视器相比,确认监视器除了相同的命令支持外,在主库发生故障时,能够自动通知 实时备库接管为新的主库,具有自动故障处理的功能。
修改 dmmonitor.ini配置确认监视器,其中 MON_DW_IP 中的 IP 和 PORT 和 dmmal.ini 中的 MAL_HOST 和 MAL_DW_PORT 配置项保持一致。
----------
MON_DW_CONFIRM = 1 #确认监视器模式
MON_LOG_PATH = /dm8/data/log #监视器日志文件存放路径
MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件
MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M
MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间
[GRP1]
MON_INST_OGUID = 453331 #组 GRP1 的唯一 OGUID 值
#IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT
MON_DW_IP = 172.31.21.202:65101
MON_DW_IP = 172.31.21.203:65121
启动监视器
./dmmonitor /dm8/dmmonitor.ini
show 查看主备运行状态
主库状态OPEN,模式PRIMARY
备库状态OPEN,模式STANDBY
十、校验主备数据同步
主库建表、写数据
create table t_test01(id int,name varchar(20));
insert t_test01 values(1,'test1');
insert t_test01 values(2,'test2');
insert t_test01 values(3,'test3');
commit;
查询备库同步数据,成功。
十一、主备库切换
主备库正常运行过程中,可以通过监视器的 Switchover 命令,一键完成主备库角色转换。主备库切换功能可以确保在软、硬件升级,或系统维护时,提供不间断的数据库服务。
login登录监视器
switchover进行主备切换
切换完毕show查看切换状态
可以看到主库切换为GRP1_RT_03,备库切换为GRP1_RT_01。
重新校验新主备的同步
主库GRP1_RT_03建表写数据
create table t_test02(id int,name varchar(20));
insert t_test02 values(1,'test1');
insert t_test02 values(2,'test2');
insert t_test02 values(3,'test3');
commit;
查询切换后的备库
数据同步成功!
十二、注册服务
生产环境中可将实例服务、数据守护、监视服务注册到操作系统中。
切换目录 cd /dm8/script/root
注册实例服务
./dm_service_installer.sh -t dmserver -p DMSERVER -m mount -dm_ini /dm8/data/DMDW/dm.ini
注册数据守护
./dm_service_installer.sh -t dmwatcher -p DMWATCHER -watcher_ini /dm8/data/DMDW/dmwatcher.ini
注册监视服务
./dm_service_installer.sh -t dmmonitor -p DMMONITOR -monitor_ini /dm8/dmmonitor.ini
十三、主备库的启动关闭顺序
启动顺序
1、启动主库实例 (mount)
2、启动备库实例 (mount)
3、启动主库守护进程 (open)
4、启动备库守护进程 (open)
5、启动监视器
关闭顺序
1、关闭监视器
2、关闭主库守护进程
3、关闭备库守护进程
4、关闭主库实例
5、关闭备库实例