Oracle DML/DDL同步数据(OGG_12.2_for_Windows)

Oracle DML/DDL同步数据(OGG_12.2_for_Windows)



Oracle DML/DDL同步数据(OGG_12.2_for_Windows) 1

一、环境准备并安装GoldenGate 3

1、基本环境 3

2、配置日志模式 3

3、创建GoldenGate用户帐号 4

4、安装GoldenGate软件 5

5、模拟生产库,初始化数据 5

二、 GoldenGate DML同步配置 6

1GoldenGate DML同步源端配置 6

1、源MGR进程 6

2、配置Extract进程组 7

3、配置Pump进程组 8

4、目标端初始化 9

2GoldenGate DML同步目标端配置 9

1、 目标端MGR进程 10

2、添加检查表 10

3、添加checkpoint11

4、配置目标端Peplicat进程组 11

5、可以查看checkpoint状态 12

6、验证同步 12

三:GoldenGate DDL同步配置 12

1、支持DDL复制运行脚本 12

2、修改extract进程的params文件 14

3、修改目标端replicat进程的params文件 15

4、测试 16

5、验证 16

四、常见问题 16

一、环境准备并安装GoldenGate

1、基本环境

1) 源端

IP地址:10.6.252.44

数据库:Oracle 11.2.0.4

SID: cjc

操作系统版本:Windows 7

ogg版本:Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401

ggs_Windows_x64_shiphome.zip

2) 目标端

IP地址:10.11.82.56

数据库:Oracle 11.2.0.4

SID: chenjch

操作系统版本:Windows 7

ogg版本:Version 12.2.0.1.1 OGGCORE_12.2.0.1.0_PLATFORMS_151211.1401

ggs_Windows_x64_shiphome.zip

2、配置日志模式

源服务器端

(1)配置归档模式

sqlplus / as sysdba

shutdown immediate;

startup mount;

alter database archivelog;

alter database open;

(2)配置日志模式(打开强制规档与补充日志模式)

alter database add supplemental log data; 

alter database force logging;

ALTER SYSTEM SET ENABLE_GOLDENGATE_REPLICATION = TRUE SCOPE=BOTH;

alter system set recyclebin=off scope=spfile; 

(3)查看配置结果:

SQL> select log_mode,supplemental_log_data_min,force_logging from v$database;

LOG_MODE    SUPPLEME FOR

------------ -------- ---

ARCHIVELOG  YES      YES

3、创建GoldenGate用户帐号

su - oracle

sqlplus / as sysdba;

create tablespace ogguser datafile 'D:\APP\ADMINISTRATOR\ORADATA\CJC\ogguser.dbf' size 10m autoextend on next 1m maxsize unlimited;

create tablespace ogguser datafile 'D:\APP\ADMINISTRATOR\ORADATA\CHENJCH\ogguser.dbf' size 10m autoextend on next 1m maxsize unlimited;

create user ogguser identified by ogguser

default tablespace ogguser

temporary tablespace temp;

grant connect,resource,dba to ogguser;

4、安装GoldenGate软件

ogg12版本安装是图形界面,选择安装版本(11);

D:\ogg\ggs_Windows_x64_shiphome\Disk1\setup.exe

启动图形界面后,选择

OGG目录:D:\app\Administrator\product\11.2.0\oggcore_1 ---需要提前创建

Oracle目录:D:\app\Administrator\product\11.2.0\dbhome_1

直接安装即可;

安装后,D:\app\Administrator\product\11.2.0\oggcore_1下会包含所有目录,无需执行create subdirs命令;

5、模拟生产库,初始化数据

建立测试用户及初始化数据

create user test identified by test;

grant connect ,resource ,dba to test;

conn test/test

create table test (id number ,name varchar2(20));

创建包含CLOB字段的表并初始化

create table t_clob(tid number,c_clob clob);

二、 GoldenGate DML同步配置

1GoldenGate DML同步源端配置

1) 先配置DML同步

cd D:\app\Administrator\product\11.2.0\dbhome_1

ggsci.exe 

dblogin userid ogguser password ogguser

1、源MGR进程

1) 编辑主进程组

edit params mgr

PORT 7809

dynamicportlist 7800-8000

autorestart extract *,retries 5,waitminutes 2,resetminutes 5

PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 7

LAGREPORTHOURS 1  

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

说明:

port 指定mgr进程通信端口

dynamicportlist 表示mgr进程可以为源与目的端动态通信指定端口,ogg12已经废弃;

autorestart extract* 表示自动重启extract进程组,每2分钟尝试重启所有进程,重试5次,每5分钟清零。

minkeepdays 7  队列传递结束后,依然保留本地队列7

LAGREPORTHOURS 1         /* 每隔1小时检查延迟报告 

LAGINFOMINUTES 30        /* 每隔30分钟检查延迟,如果超过延迟阈值,将写入错误日志 

LAGCRITICALMINUTES 45    /*延迟阈值45分钟

2) 启动主管理进程

start mgr

2、配置Extract进程组

1) 编辑配置文件

edit param ext1

extract ext1

setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

userid ogguser,password ogguser

exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd

table test.*;

说明:

extract ext1定义extract??名字

dynamicresolution

setenv设置环境变量

userid 登录数据库

exttrail指定本地trail文件地址

table 定义同步的表

AMERICAN_AMERICA.AL32UTF8 实验环境的字符集,可用SELECT userenv('language') from dual;查出

TRANLOGOPTIONS  CONVERTUCS2CLOBS  clob大字段的转换

GETTRUNCATES 获取Truncate操作

tranlogoptions rawdeviceoffset 0    /* 裸设备文件偏移量(AIX系统专有参数),此实验不用

2) 添加抽取进程

add extract ext1,tranlog,begin now

3) 添加本地trail文件

add exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd,extract ext1

说明:

创建本地trail文件,主extract进程负责写这部分文件,pump负责把这部分文件传到目标服务器端。

4) 启动服务

start extract ext1

3、配置Pump进程组

1) 编辑配置文件

edit param extpump

extract extpump

dynamicresolution

passthru

rmthost 10.11.82.56,mgrport 7809,compress

rmttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\mb

table test.*;

2) 添加pump进程

add extract extpump,exttrailsource D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\yd

3) 添加远程trail文件

add rmttrail /ogg/app/oracle/dirdat/mb,extract extpump

说明指定远程trail文件

4) 启动pump进程

start extract extpump

至此:源端配置完成,查看相关进程是剖正常启动

命令:

info all 查看所有进程的状态

view report ext1 可查看失败进程的报错

4、目标端初始化

建立测试用户及初始化数据

create user test identified by test;

grant connect ,resource ,dba to test;

conn test/test

create table test (id number ,name varchar2(20));

创建包含CLOB字段的表并初始化

create table t_clob(tid number,c_clob clob);

2GoldenGate DML同步目标端配置

安装ogg软件,安装目录和原服务器一样,安装过程忽略

数据库上进行配置,创建用户,授权

create user ogguser identified by ogguser

default tablespace ogguser

temporary tablespace temp;

grant connect,resource,dba to ogguser;

1、目标端MGR进程

cd D:\app\Administrator\product\11.2.0\dbhome_1

ggsci.exe 

dblogin userid ogguser password ogguser

1) 编辑配置文件

edit param mgr

port 7809

dynamicportlist 7800-8000

autostart er *

autorestart extract *, waitminutes 2, resetminutes 5

lagreporthours 1

laginfominutes 3

lagcriticalminutes 5

purgeoldextracts D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\rt*, usecheckpoints, minkeepdays 3

2) 启动

start mgr

2、添加检查表

说明当我们在GLOBALS 文件里指定了默认的checkpoint 之后,新的Replicat groups 在创建时会自动使用这个参数,不需要其他指令

1) 编辑全局配置文件

GGSCI (dg2) 4> edit param ./GLOBALS

CHECKPOINTTABLE ogguser.checkpoint

2exit #这里需要退出ggsci终端

3、添加checkpoint

./ggsci

GGSCI (dg2) 1> dblogin userid ogguser password ogguser

GGSCI (dg2 as ogguser@mbdb) 2> add checkpointtable ogguser.checkpoint

4、配置目标端Peplicat进程组

1) 编辑配置文件

edit params repl

replicat repl

userid ogguser,password ogguser

reperror default,discard

discardfile D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc,append,megabytes 4096 ----megabytes只过小可能会导致repl无法启动

map test.*, target test.*;

2) 添加复制进程

add replicat repl,exttrail D:\app\Administrator\product\11.2.0\oggcore_1\dirdat\mb, CHECKPOINTTABLE ogguser.checkpoint

3) 启动进程

start repl -----aftercsn

5、可以查看checkpoint状态

su - oracle

sqlplus ogguser/ogguser

SQL> select tname from tab;

TNAME

-------------------------------------

CHECKPOINT TABLE

CHECKPOINT_LOX TABLE

select * from checkpoint;

1ogg_11.1.1.1.2只有CHECKPOINT一张表。

2ogg_11.2.x.x.1之后的版本有CHECKPOINT,CHECKPOINT_LOX两张表。

查看相关进程是否正常启动

info all 

6、验证同步

源端对test用户下所有表进行insert,update,delete操作,确保目标端可以正常同步所有DML操作产生的数据;

三:GoldenGate DDL同步配置

1、支持DDL复制运行脚本

服务器源端配置

1) 指定数据库模式

D:\app\Administrator\product\11.2.0\oggcore_1\ggsci.exe 

GGSCI (dg1) 1> edit param ./GLOBALS

ggschema ogguser

GGSCI (dg1) 3> stop mgr

2) 安装DDL对象

进入到ogg的安装目录,此实验为D:\app\Administrator\product\11.2.0\oggcore_1

sqlplus / as sysdba

SQL> grant dba to ogguser;

SQL> @marker_setup 说明均指定用户ogguser

SQL> @ddl_setup 说明: 11.1.1.2需要手动输入 ogguser,INITIALSETUP,yes

SQL> @role_setup

SQL> grant GGS_GGSUSER_ROLE to ogguser;

SQL> @ddl_enable

SQL> @marker_status.sql

1: 执行dbmspool包将在数据库中创建DBMS_SHARED_POOL包,之后ddl_pin包需要用到

SQL> @?/rdbms/admin/dbmspool.sql

2:执行ddl_pin.sql通过dbms_shared_pool.keep存储过程将DDLReplication相关对象keep在共享池中,以保证这些对象不RELOAD,提升性能。

SQL> @ddl_pin.sql ogguser

2、修改extract进程的params文件

服务器源端配置

# source端修改extract进程的params文件,添加"ddl include all"参数,重启extract进程

1) 停止ext1进程

GGSCI (test) 2> stop extract ext1

2) 编辑配置文件

GGSCI (test) 3> edit params ext1

extract ext1

dynamicresolution

setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

userid ogguser,password ogguser

exttrail /ogg/app/oracle/dirdat/yd

report at 1:00

reportrollover at 1:00

ddl include all

ddloptions addtrandata,report

GETTRUNCATES

TRANLOGOPTIONS  CONVERTUCS2CLOBS

table test.*;

说明:加了两行tranlogoption 与 ddl

3)启动mgr,eora进程

GGSCI (test) 4> start mgr

GGSCI (test) 5> start extract ext1

4) 查看进程启动情况

GGSCI (test) 6> info extract ext1

3、修改目标端replicat进程的params文件

目标服务器配置

# target端修改replicat进程的params文件,

添加"ddlerror default ignore retryop maxretries 3 retrydelay 5" 等参数,重启replicat进程,操作如下

1) 停止mgr进程

GGSCI (slave) 1> stop mgr

2) 停止repl进程

GGSCI (slave) 1> stop replicat repl

3) 编辑repl配置文件

GGSCI (slave) 1> edit params repl

GGSCI (slave) 2> view params repl

replicat repl

userid ogguser,password ogguser

reperror default,discard

discardfile D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc,append,megabytes 4096

ddloptions report

ddlerror default ignore retryop maxretries 3 retrydelay 5

ddlerror default discard

ddlerror default ignore retryop

map test.*, target test.*;

4) 启动rora_t1进程

GGSCI (slave) 4> start mgr # 会自动启动repl进程

GGSCI (slave) 5> info replicat repl

4、测试

在源端test用户创建一个表,查看目标端是否成功创建。

create table t1(id number);

5、验证 

在目标端查看t1表及数据是否同步过来

四、常见问题

问题一:

insertdelete可以同步,update不能同步;

解决方案:

ggsci > dblogin userid gg, password gg

ggsci > add trandata test.*

问题二:

repl进程无法启动

查看日志

D:\app\Administrator\product\11.2.0\oggcore_1\ggserr.log

D:\app\Administrator\product\11.2.0\oggcore_1\dirrpt\repl.dsc

megabytes值过小,可能会引起rep1进程ABENDED

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29785807/viewspace-2149617/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/29785807/viewspace-2149617/

你可能感兴趣的:(操作系统,数据库)