Oracle GoldenGate(OGG)-Oracle数据库迁移到MySQL数据库(全量+增量)

目录

    • 前言
    • 环境介绍
    • 环境准备
      • Oracle环境准备
      • Oracle环境配置方法
      • MySQL环境配置方法
    • 表结构转换和导入
      • 备份Oracle表结构为SQL文件
      • 使用sqlines工具将表结构进行转换
    • 安装Oracle GoldenGate(OGG)
      • Oracle端安装
      • MySQL端安装
    • 创建相关用户
      • MySQL端
      • Oracle端
    • OGG配置
      • 参数配置
      • 源端oracle-OGG配置
      • 目标端MySQL-OGG配置
    • 启动进程顺序(重要)
    • 相关报错解决方式

前言

本案例使用PLSQL导出Oracle表结构的SQL文件,随后通过sqlines将Oracle表结构,转换为MySQL表结构,人工核对后,再使用Oracle GoldenGate(OGG),进行数据的全量加增量迁移。请注意本次迁移不包括Oracle的存储过程和触发器。只迁移表结构和数据到MySQL。

环境介绍

IP 服务
172.22.138.219 Oracle:11g
172.22.138.220 MySQL:5.7

环境准备

Oracle环境准备

  • 必须是归档模式,否则没有办法增量迁移,如果只做全量可以不开。
  • 开启Force logging,强制记录日志,数据库中的所有操作都必须产生日志,并将该日志信息,写入到redo文件中。
  • ENABLE_GOLDENGATE_REPLICATION=true (11.2.0.4),11g热replicat进程不支持DBOPTIONS DEFERREFCONST参数,所以需要在oracle打开这个参数。否则ogg会报错。
  • 最小补全日志,可以捕获表中的附加信息,如主键、唯一约束、外键等。
  • 迁移用户的权限建议使用DBA 角色

Oracle环境配置方法

# 下面需要将oracle设置为mount模式进行参数修改,生产环境需要谨慎操作。
SQL> shutdown immediate;
SQL> startup mount;
SQL> alter database archivelog;
SQL> alter database force logging;
SQL> alter database add supplemental log data;
SQL> alter system switch logfile;
SQL> alter system set enable_goldengate_replication=true;
SQL> alter database open;

MySQL环境配置方法

#开启不区分大小写的参数
root # vim /etc/my.cnf
[mysqld]
...
lower-case-table-names = 1
...
#重启mysqld服务
root # systemctl restart mysqld

表结构转换和导入

sqlines表结构转换工具,下载地址:https://gitee.com/opengauss/openGauss-tools-sqlines

备份Oracle表结构为SQL文件

可以通过PLSQL一键导出,也可以编写脚本,通过Oracle的DBMS_METADATA.GET_DDL视图,导出Oracle建表语句,我这里使用PLSQL导出oracle的SQL文件,就不再过多赘述了。
Oracle GoldenGate(OGG)-Oracle数据库迁移到MySQL数据库(全量+增量)_第1张图片

使用sqlines工具将表结构进行转换

1.安装sqlines工具,并转换oracle表结构。

#解压安装好sqlines工具包,过程就掠过了,安装过程就略过了。-in=这里填写你通过plsql备份的oracle表结构文件。-out这里表示输出文件。
root # sqlines -s=oracle -t=mysql -in=oracle.sql -out=mysql.sql
#调整sqlines输出后的文件,修剪掉多余的信息
sed -i '/PL\/SQL Developer/d' mysql.sql
sed -i '/^spool/d' mysql.sql
sed -i '/^prompt/d' mysql.sql

2.人工检查转换后的表结构,重点关注数据类型,是否合适。
Oracle GoldenGate(OGG)-Oracle数据库迁移到MySQL数据库(全量+增量)_第2张图片
3.MySQL创建与oracle用户名称一致的库名,字符集要与oracle一致。

MySQL [(none)]> create database test charset gbk;
MySQL [(none)]> source mysql.sql
#检查表与表结构是否无误
MySQL [(none)]> show tables;
MySQL [(none)]> show create table table_name;

安装Oracle GoldenGate(OGG)

OGG版本:
Oracle GoldenGate 12.3.0.1.4 for Oracle on Linux x86-64
Oracle GoldenGate 12.3.0.1.5 for MySQL-compatible DBs on Linux x86-64
OGG下载地址 :https://www.oracle.com/middleware/technologies/goldengate-downloads.html

Oracle端安装

1.解压安装包,并编辑好应答文件后执行安装程序

oracle # mkdir /opt/oracle/ogg -p
oracle # unzip /opt/oracle/V975837-01.zip
oracle # vim ./fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp
...
INSTALL_OPTION=ORA11g
SOFTWARE_LOCATION=/opt/oracle/ogg
START_MANAGER=false
#执行安装文件(此处不支持相对路径)
oracle # ./fbo_ggs_Linux_x64_shiphome/Disk1/runInstaller -silent -responseFile /opt/oracle/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp

2.添加环境变量到.bash_profile中

oracle # vim /home/oracle/.bash_profile
...
export GG_HOME=/opt/oracle/ogg
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$GG_HOME
export PATH=$ORACLE_HOME:$GG_HOME:$PATH
alias ggsci='cd GG_HOME; ggsci'

#使环境变量生效
oracle # source /home/oracle/.bash_profile

3.测试ogg命令是否正常运行

oracle # ggsci
#OGG中创建相关目录
GGSCI ( oracle ) 1> create subdirs

MySQL端安装

1.解压安装包

mkdir /opt/ogg
unzip V978711-01.zip
tar xf ./ggs_Linux_x64_MySQL_64bit.tar -C /opt/ogg

2.进入到解压后的目录测试运行,并创建相关目录

./ggsci
GGSCI ( mysql) 1> create subdirs

创建相关用户

MySQL端

创建同步的用户并进行授权
MySQL [(none)]> grant all on *.* to mysql@'%' identified by 'mysql';

Oracle端

1.创建OGG专属用户,goldengate 用户,并赋予相关权限

SQL> create tablespace goldengate datafile '/data/app/oracle/oradata/ldmpdb/goldengate001.dbf' size 4G;
SQL> create user goldengate identified by goldengate123 default tablespace goldengate;
SQL> grant dba to goldengate;

2.OGG设置免密登陆

oracle # ggsci
GGSCI ( oracle) 1> create subdirs
GGSCI ( oracle) 1> add credentialstore
GGSCI ( oracle) 1> alter credentialstore add user goldengate,password goldengate123
登陆测试:
GGSCI ( oracle) 1> dblogin useridalias goldengate

OGG配置

基本配置中,主要是两套进程:

  • INITIAL LOAD:即全量同步,主要是一个抽取进程和应用进程,将存量数据从原端同步到目标端。
  • CHANGE SYNCHRONIZATION:即增量同步进程,有三个进程,抽取进程(捕获源端数据实时变化日志,并生成 trail 文件,oracle 数据库的话为 oracle 的 redo log 和 archive log)
  • 投递进程(将抽取进程产生的 trail 文件投递到目标端,给应用进程回放),
  • 应用进程(回放投递进程投递过来的日志文件,应用到目标数据库)

参数配置

  • /data/oracle/11.2.0.4,为 ORACLE_HOME 的值
  • orcl,为 Oracle 的 sid 名称
  • ext_ora,抽取进程名称
  • tdpm_ora,投递进程名称
  • rep_ora,应用进程名称
  • /dirdat/sk,抽取文件存放目录及命名规则
  • /Data/tidb/ogg/dirdat/sk ,Replicat 端接收日志的存放目录

源端oracle-OGG配置

1.MGR配置

GGSCI ( oracle) 1> edit param mgr
...
port 9001
DYNAMICPORTLIST 9001-9020
--AUTORESTART ER *,RETRIES 5,WAITMINUTES   7
PURGEOLDEXTRACTS   ./dirdat/*,usecheckpoints, minkeepdays 2
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45
ACCESSRULE, PROG *, IPADDR *.*.*.*, ALLOW
#启动mgr进程
GGSCI ( oracle) 1> start mgr

2.Extract 进程配置信息

GGSCI ( oracle) 1> edit param   ext_ora
EXTRACT ext_ora
SETENV   (ORACLE_HOME="/data/oracle/11.2.0.4")
setenv   (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
setenv (ORACLE_SID="orcl")
useridalias goldengate
GETTRUNCATES
REPORTCOUNT EVERY 1 MINUTES, RATE
DISCARDFILE   ./dirrpt/ext_ora.dsc,APPEND,MEGABYTES 1000
WARNLONGTRANS 2h,CHECKINTERVAL 10m
EXTTRAIL ./dirdat/sk
TRANLOGOPTIONS EXCLUDEUSER goldengate
TRANLOGOPTIONS MINEFROMACTIVEDG
DBOPTIONS ALLOWUNUSEDCOLUMN
DYNAMICRESOLUTION
FETCHOPTIONS FETCHPKUPDATECOLS,INCONSISTENTROW ALLOW
getupdatebefores
nocompressdeletes
nocompressupdates
table test.*;

3.创建一个抽取进程

GGSCI (oracle) 3> add extract ext_ora,TRANLOG, begin now
#创建一个抽取进程的数据保存目录,并于新建的抽取进程进行关联
GGSCI (oracle) 4> add ExtTrail ./dirdat/sk, Extract ext_ora,   Megabytes 1024

4.Pump进程配置

GGSCI (oracle) 4> edit param   tdpm_ora
EXTRACT tdpm_ora
RMTHOST 172.22.138.220 MGRPORT 9001,   compress
PASSTHRU
RMTTRAIL /opt/ogg/dirdat/sk
DYNAMICRESOLUTION
--table
table test.*;

5.增加一个传输进程,并于抽取进程的文件进行关联

GGSCI (oracle) 4> add extract tdpm_ora, exttrailsource   ./dirdat/sk
#传输进程推送目录,这里推送的是目标段的目录,需要观察目标端目录是否存在
GGSCI (oracle) 4> add rmttrail /opt/ogg/dirdat/sk,   extract tdpm_ora, megabytes 100

6.配置配置全量抽取进程,oracle端配置

GGSCI (oracle) 4> edit param   init_ora   ldmpdp
extract init_ora
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
setenv (ORACLE_SID="HXYDB")
useridalias goldengate
rmthost 172.22,138,220,mgrport 9001
rmttask replicat,group rnit_ora
table test.*;
添加进程
GGSCI (oracle) 4> add extract init_ora,sourceistable

目标端MySQL-OGG配置

1.MGR 进程配置信息

GGSCI (mysql) 2> edit param mgr
port 9001
DYNAMICPORTLIST 9001-9120
ACCESSRULE, PROG *, IPADDR *.*.*.*,   ALLOW
--AUTORESTART ER *,RETRIES 5,WAITMINUTES   7
PURGEOLDEXTRACTS   ./dirdat/*,usecheckpoints, minkeepdays 10
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45
GGSCI (mysql) 2> start mgr

2.Replicat 进程配置信息
Replicat 进程是运行在目标端系统的一个进程,负责读取 Extract 进程提取到的数据(变更的事务或 DDL 变化)并应用到目标数据库MySQL上。

#创建 checkpoint table (该步骤为一次性工作)
GGSCI (mysql) 2> dblogin sourcedb [email protected]:3306   userid mysql password mysql
首先创建出ogg数据库
GGSCI (mysql) 2> add checkpointtable ogg.checkpoint

3.编辑replicat 进程的参数

GGSCI (mysql) 2> edit param rep_ora
replicat rep_ora
targetdb [email protected]:3306 userid mysql password mysql
SQLEXEC "show databases;"
handlecollisions
MAXTRANSOPS 10000
discardfile /opt/ogg/dirrpt/repora.dsc,purge
map test.*,target test.*;
#添加replicat进程
GGSCI (mysql) 2> add replicat rep_ora,exttrail /opt/ogg/dirdat/sk,checkpointtable ogg.checkpoint

4.配置全量应用进程,mysql端配置

GGSCI (mysql) 2> edit param rnit_ora  
replicat rnit_ora
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
targetdb [email protected]:3306 userid  mysql password mysql
discardfile /opt/ogg/dirrpt/rnit_ora.dsc,purge
map test.*, target test.*;
#添加进程
GGSCI (mysql) 2> add replicat rnit_ora,specialrun

启动进程顺序(重要)

首先配置好 MGR 进程,抽取进程,投递进程,应用进程,全量抽取进程,全量应用进程。

  • A 时刻” 正常启动抽取进程和投递进程,确保投递进程的投递的远端目录有相关的 trail 文件。
  • B时刻” 启动全量抽取进程,该时刻必须在 “A 时刻” 之后,不然会丢数据;
  • C 时刻” 全量同步完成;
  • D 时刻” 准备启动增量 replicat 进程,为了确保数据不丢失,将 repliact 进程要提前到
  • E 时刻” 和 “A 时刻” 之间的任意时刻,时间重复部分的日志冲突通过使用参数配置 “handlecollisions” 自动处理
#启动抽取和投递进程
start ext_ora
start tdpm_ora
#启动全量抽取进程
start init_ora
#启动增量进程
start rep_ora
#启动全量应用进程
start rnit_ora

相关报错解决方式

启动报错1:2022-10-10T01:24:11.982-0400 ERROR OGG-02801 Oracle GoldenGate Capture for Oracle, ext_ora.prm: Parameter MINEFROMACTIVEDG can only be used when the database is in READ ONLY mode.

解决方式

  • 去掉ext_ora文件的TRANLOGOPTIONS MINEFROMACTIVEDG参数,此参数只有在数据库只读的情况下才可以使用

启动报错2: ERROR OGG-00529 Oracle GoldenGate Capture for Oracle, ext_ora.prm: DDL Replication is enabled but table goldengate.GGS_DDL_HIST is not found. Please check DDL installation in the database.

解决方式

  • 是因为开启了ddl include mapped objname参数,去掉ddl include mapped objname参数解决

你可能感兴趣的:(Oracle,MySQL,数据库,oracle,mysql,dba,linux,迁移学习,经验分享)