Oracle DML/DDL同步数据(OGG_12.2_for_Windows)

Oracle DML/DDL同步数据(OGG_12.2_for_Windows)

Oracle DML/DDL同步数据(OGG_12.2_for_Windows) 1

一、环境准备并安装GoldenGate 3

1、基本环境 3

2、配置日志模式 3

3、创建GoldenGate用户帐号 4

4、安装GoldenGate软件 5

5、模拟生产库，初始化数据 5

二、 GoldenGate DML同步配置 6

1、GoldenGate DML同步源端配置 6

1、源MGR进程 6

2、配置Extract进程组 7

3、配置Pump进程组 8

4、目标端初始化 9

2、GoldenGate DML同步目标端配置 9

1、 目标端MGR进程 10

2、添加检查表 10

3、添加checkpoint表 11

4、配置目标端Peplicat进程组 11

5、可以查看checkpoint状态 12

6、验证同步 12

三：GoldenGate DDL同步配置 12

1、支持DDL复制运行脚本 12

2、修改extract进程的params文件 14

3、修改目标端replicat进程的params文件 15

4、测试 16

5、验证 16

四、常见问题 16

一、环境准备并安装GoldenGate

1、基本环境

1) 源端

IP地址：10.6.252.44

数据库：Oracle 11.2.0.4

SID: cjc

操作系统版本：Windows 7

ogg版本：Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401

ggs_Windows_x64_shiphome.zip

2) 目标端

IP地址：10.11.82.56

数据库：Oracle 11.2.0.4

SID: chenjch

操作系统版本：Windows 7

ogg版本：Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401

ggs_Windows_x64_shiphome.zip

2、配置日志模式

# 源服务器端

(1)配置归档模式

sqlplus / as sysdba

shutdown immediate;

startup mount;

alter database archivelog;

alter database open;

(2)配置日志模式(打开强制规档与补充日志模式)

alter database add supplemental log data; 

alter database force logging;

ALTER SYSTEM SET ENABLE_GOLDENGATE_REPLICATION = TRUE SCOPE=BOTH;

alter system set recyclebin=off scope=spfile; 

(3)查看配置结果：

SQL> select log_mode,supplemental_log_data_min,force_logging from v$database;

LOG_MODE    SUPPLEME FOR

------------ -------- ---

ARCHIVELOG  YES      YES

3、创建GoldenGate用户帐号

su - oracle

sqlplus / as sysdba;

create tablespace ogguser datafile 'D:\APP\ADMINISTRATOR\ORADATA\CJC\ogguser.dbf' size 10m autoextend on next 1m maxsize unlimited;

create tablespace ogguser datafile 'D:\APP\ADMINISTRATOR\ORADATA\CHENJCH\ogguser.dbf' size 10m autoextend on next 1m maxsize unlimited;

create user ogguser identified by ogguser

default tablespace ogguser

temporary tablespace temp;

grant connect,resource,dba to ogguser;

4、安装GoldenGate软件

ogg12版本安装是图形界面，选择安装版本(11);

D:\ogg\ggs_Windows_x64_shiphome\Disk1\setup.exe

启动图形界面后，选择

OGG目录:D:\app\Administrator\product\11.2.0\oggcore_1 ---需要提前创建

Oracle目录:D:\app\Administrator\product\11.2.0\dbhome_1

直接安装即可；

安装后，D:\app\Administrator\product\11.2.0\oggcore_1下会包含所有目录，无需执行create subdirs命令；

5、模拟生产库，初始化数据

建立测试用户及初始化数据

create user test identified by test;

grant connect ,resource ,dba to test;

conn test/test

create table test (id number ,name varchar2(20));

创建包含CLOB字段的表并初始化

create table t_clob(tid number,c_clob clob);

二、 GoldenGate DML同步配置

1、GoldenGate DML同步源端配置

1) 先配置DML同步

cd D:\app\Administrator\product\11.2.0\dbhome_1

ggsci.exe 

dblogin userid ogguser password ogguser

1、源MGR进程

1) 编辑主进程组

edit params mgr

PORT 7809

dynamicportlist 7800-8000

autorestart extract *,retries 5,waitminutes 2,resetminutes 5

PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 7

LAGREPORTHOURS 1  

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

说明:

port 指定mgr进程通信端口

dynamicportlist 表示mgr进程可以为源与目的端动态通信指定端口,ogg12已经废弃；

autorestart extract* 表示自动重启extract进程组，每2分钟尝试重启所有进程，重试5次，每5分钟清零。

minkeepdays 7  队列传递结束后,依然保留本地队列7天

LAGREPORTHOURS 1         /* 每隔1小时检查延迟报告 

LAGINFOMINUTES 30        /* 每隔30分钟检查延迟,如果超过延迟阈值,将写入错误日志 

LAGCRITICALMINUTES 45    /*延迟阈值45分钟

2) 启动主管理进程

start mgr

2、配置Extract进程组

1) 编辑配置文件

edit param ext1

extract ext1

setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

userid ogguser,password ogguser

exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd

table test.*;

说明:

extract ext1定义extract进??名字

dynamicresolution

setenv设置环境变量

userid 登录数据库

exttrail指定本地trail文件地址

table 定义同步的表

AMERICAN_AMERICA.AL32UTF8 实验环境的字符集，可用SELECT userenv('language') from dual;查出

TRANLOGOPTIONS  CONVERTUCS2CLOBS  clob大字段的转换

GETTRUNCATES 获取Truncate操作

tranlogoptions rawdeviceoffset 0    /* 裸设备文件偏移量(AIX系统专有参数)，此实验不用

2) 添加抽取进程

add extract ext1,tranlog,begin now

3) 添加本地trail文件

add exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd,extract ext1

说明:

创建本地trail文件，主extract进程负责写这部分文件，pump负责把这部分文件传到目标服务器端。

4) 启动服务

start extract ext1

3、配置Pump进程组

1) 编辑配置文件

edit param extpump

extract extpump

dynamicresolution

passthru

rmthost 10.11.82.56,mgrport 7809,compress

rmttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\mb

table test.*;

2) 添加pump进程

add extract extpump,exttrailsource D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd

3) 添加远程trail文件

add rmttrail /ogg/app/oracle/dirdat/mb,extract extpump

说明: 指定远程trail文件

4) 启动pump进程

start extract extpump

至此：源端配置完成，查看相关进程是剖正常启动

命令：

info all 查看所有进程的状态

view report ext1 可查看失败进程的报错

4、目标端初始化

建立测试用户及初始化数据

create user test identified by test;

grant connect ,resource ,dba to test;

conn test/test

create table test (id number ,name varchar2(20));

创建包含CLOB字段的表并初始化

create table t_clob(tid number,c_clob clob);

2、GoldenGate DML同步目标端配置

安装ogg软件，安装目录和原服务器一样，安装过程忽略

数据库上进行配置，创建用户，授权

create user ogguser identified by ogguser

default tablespace ogguser

temporary tablespace temp;

grant connect,resource,dba to ogguser;

1、目标端MGR进程

cd D:\app\Administrator\product\11.2.0\dbhome_1

ggsci.exe 

dblogin userid ogguser password ogguser

1) 编辑配置文件

edit param mgr

port 7809

dynamicportlist 7800-8000

autostart er *

autorestart extract *, waitminutes 2, resetminutes 5

lagreporthours 1

laginfominutes 3

lagcriticalminutes 5

purgeoldextracts D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\rt*, usecheckpoints, minkeepdays 3

2) 启动

start mgr

2、添加检查表

说明: 当我们在GLOBALS 文件里指定了默认的checkpoint 之后，新的Replicat groups 在创建时会自动使用这个参数，不需要其他指令

1) 编辑全局配置文件

GGSCI (dg2) 4> edit param ./GLOBALS

CHECKPOINTTABLE ogguser.checkpoint

2）exit #这里需要退出ggsci终端

3、添加checkpoint表

./ggsci

GGSCI (dg2) 1> dblogin userid ogguser password ogguser

GGSCI (dg2 as ogguser@mbdb) 2> add checkpointtable ogguser.checkpoint

4、配置目标端Peplicat进程组

1) 编辑配置文件

edit params repl

replicat repl

userid ogguser,password ogguser

reperror default,discard

discardfile D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc,append,megabytes 4096 ----megabytes只过小可能会导致repl无法启动

map test.*, target test.*;

2) 添加复制进程

add replicat repl,exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\mb, CHECKPOINTTABLE ogguser.checkpoint

3) 启动进程

start repl -----aftercsn

5、可以查看checkpoint状态

su - oracle

sqlplus ogguser/ogguser

SQL> select tname from tab;

TNAME

-------------------------------------

CHECKPOINT TABLE

CHECKPOINT_LOX TABLE

select * from checkpoint;

注1：ogg_11.1.1.1.2只有CHECKPOINT一张表。

注2：ogg_11.2.x.x.1之后的版本有CHECKPOINT,CHECKPOINT_LOX两张表。

查看相关进程是否正常启动

info all 

6、验证同步

源端对test用户下所有表进行insert,update,delete操作，确保目标端可以正常同步所有DML操作产生的数据；

三：GoldenGate DDL同步配置

1、支持DDL复制运行脚本

# 服务器源端配置

1) 指定数据库模式

D:\app\Administrator\product\11.2.0\oggcore_1\ggsci.exe 

GGSCI (dg1) 1> edit param ./GLOBALS

ggschema ogguser

GGSCI (dg1) 3> stop mgr

2) 安装DDL对象

进入到ogg的安装目录，此实验为D:\app\Administrator\product\11.2.0\oggcore_1

sqlplus / as sysdba

SQL> grant dba to ogguser;

SQL> @marker_setup 说明: 均指定用户ogguser

SQL> @ddl_setup 说明: 11.1.1.2需要手动输入 ogguser,INITIALSETUP,yes

SQL> @role_setup

SQL> grant GGS_GGSUSER_ROLE to ogguser;

SQL> @ddl_enable

SQL> @marker_status.sql

注1: 执行dbmspool包将在数据库中创建DBMS_SHARED_POOL包，之后ddl_pin包需要用到

SQL> @?/rdbms/admin/dbmspool.sql

注2:执行ddl_pin.sql通过dbms_shared_pool.keep存储过程将DDLReplication相关对象keep在共享池中，以保证这些对象不RELOAD，提升性能。

SQL> @ddl_pin.sql ogguser

2、修改extract进程的params文件

# 服务器源端配置

# source端修改extract进程的params文件，添加"ddl include all"参数，重启extract进程

1) 停止ext1进程

GGSCI (test) 2> stop extract ext1

2) 编辑配置文件

GGSCI (test) 3> edit params ext1

extract ext1

dynamicresolution

setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

userid ogguser,password ogguser

exttrail /ogg/app/oracle/dirdat/yd

report at 1:00

reportrollover at 1:00

ddl include all

ddloptions addtrandata,report

GETTRUNCATES

TRANLOGOPTIONS  CONVERTUCS2CLOBS

table test.*;

# 说明：加了两行tranlogoption 与 ddl

3)启动mgr,eora进程

GGSCI (test) 4> start mgr

GGSCI (test) 5> start extract ext1

4) 查看进程启动情况

GGSCI (test) 6> info extract ext1

3、修改目标端replicat进程的params文件

# 目标服务器配置

# target端修改replicat进程的params文件，

添加"ddlerror default ignore retryop maxretries 3 retrydelay 5" 等参数，重启replicat进程，操作如下

1) 停止mgr进程

GGSCI (slave) 1> stop mgr

2) 停止repl进程

GGSCI (slave) 1> stop replicat repl

3) 编辑repl配置文件

GGSCI (slave) 1> edit params repl

GGSCI (slave) 2> view params repl

replicat repl

userid ogguser,password ogguser

reperror default,discard

discardfile D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc,append,megabytes 4096

ddloptions report

ddlerror default ignore retryop maxretries 3 retrydelay 5

ddlerror default discard

ddlerror default ignore retryop

map test.*, target test.*;

4) 启动rora_t1进程

GGSCI (slave) 4> start mgr # 会自动启动repl进程

GGSCI (slave) 5> info replicat repl

4、测试

在源端test用户创建一个表，查看目标端是否成功创建。

create table t1(id number);

5、验证 

在目标端查看t1表及数据是否同步过来

四、常见问题

问题一：

insert和delete可以同步，update不能同步；

解决方案：

ggsci > dblogin userid gg, password gg

ggsci > add trandata test.*

问题二：

repl进程无法启动

查看日志

D:\app\Administrator\product\11.2.0\oggcore_1\ggserr.log

D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc

megabytes值过小，可能会引起rep1进程ABENDED；

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29785807/viewspace-2149617/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29785807/viewspace-2149617/