carwinloo

goldengate java adapter_[数据库]『OGG 02』Win7 配置 Oracle GoldenGate Adapter Java 踩坑指南_星空网...

『OGG 02』Win7 配置 Oracle GoldenGate Adapter Java 踩坑指南

2018-06-29

上一文章《__Win7 配置OGG(Oracle GoldenGate).docx》定下了两个目标：目标1：给安装的Oracle_11g 创建两个用户 admin 和 root 。

admin 对应了 ADMIN 结构，创建了一个 TB_ TEST表。

root 对应了 ROOT 结构，也创建一个 TB_ TEST (表结构一摸一样)。

当 admin.TBTEST 中的表数据变化时，root.TB TEST 的表数据自动同步(备份)

PS. 实际的容灾备份，肯定是两个 Oracle 服务器，通过网络传输备份数据 —— 各位可以想象 admin 和 root 在两台不同服务器上。目标2：当 admin.TB_ TEST 表数据发生变化时，把这种变化传递给 Java、C# 程序。

当 Java、C# 程序得到数据变化消息时，把数据的变化记录到日志中(或者其他操作)。

其中，目标1 已经完成，我们开始尝试目标2

下载 OGG Adapter Java：

开始配置 Java运行环境：我开始后悔了，我的系统是 64位Win7。

我后悔自己安装的是 32位的 Oracle。

我后悔自己安装了两套 JDK： C:\Program Files\Java\jdk1.8.0121 和 C:\Program Files (x86)\Java\jdk1.8.0121。

我后悔自己的OGG目录取了这么长的一个名字： D:\oracle\product\11.1.0\x86_ogg4oracle\

接下来的文章：这些坑将导致各种诡异的问题 —— 填坑指南，作者带着你一起踩坑一起填，在失败中积累厚重经验、在填坑中收获绝对稳定。

配置环境变量：我的电脑 64位Win7,安装了 64位、32位位两种 JDK。Oracle_11g 32位，OGG 32位。

进行如下操作：找到 64位 JDK目录 —— 右键，“360强力删除” —— 没错，强力粉碎，这源自我踩坑踩出的仇恨，粉碎，粉碎。桌面>计算机>右键>属性>高级系统设置>“高级”选项卡>环境变量。

CLASSPATH ： .;%JAVAHOME%\lib\tools.jar;%JAVAHOME%\lib\dt.jar;%JAVA_HOME%\bin;

JAVAHOME ： C:\Program Files (x86)\Java\jdk1.8.0121

JREHOME ： C:\Program Files (x86)\Java\jre1.8.0121

Path ： %JAVA_HOME%\bin;

验证环境变量：

打开cmd (不详述了，cmd 都打不开，这篇文章你也不用看了)

建议重启电脑，好像有时候，JAVA的环境变量要重启后才生效 —— 重启保平安。

开始考验 JAVA基础的时候了：打开 eclipse，新建一个 hello world 项目。导出 jar 包。

再次验证 java 运行环境：

你以为这个 hello.jar 有啥用？ —— 没用！

玄学懂不懂？

安装SQL Server 你不去上个厕所，你还想安装成功？【上厕所，减少人为磁盘操作，SQLServer安装程序更稳定】

你不写个 hello word，你还想把OGG Adapter Java 配成？【就是为了验证 java 运行环境，配置者的java基础】

开始配置 OGG Adapter Java 【正式代码在下面，我们要先验证 OGG-Java 的配置环境】回顾一下：针对 ADMIN.TB_TEST 表 —— 当数据变化时，我们的Java插件要能够捕获到数据变化。

生成表结构定义文件。【目标：得到一个 .def 后缀的文件(过程中的其他文件都可以删除)】在 D:\Temp\ 文件夹创建一个文本文件 source.prm 内容如下：

运行 cmd，通过 source.prm 生成 source.def 文件。

找到 D:\oracle\product\11.1.0\x86ogg4oracletarget\ 【目标端】双击运行 ggsci.exe 程序。添加 javaue

配置 javaue

javaue.prm如下：Extract JAVAUE

SourceDefs dirprm/source.def

getEnv (JAVA_HOME)

-- getEnv (LDLIBRARYPATH)

getEnv (PATH)

CUserExit ggjava_ue.dll CUSEREXIT PassThru IncludeUpdateBefores

GetUpdateBefores

Table ADMIN.*;

javaue.properties 如下：gg.handlerlist=sample.SampleHandler

java.naming.provider.url=tcp://localhost:61616

java.naming.factory.initial=org.apache.activemq.jndi.ActiveMQInitialContextFactory

gg.handler.sample.type=sample.SampleHandler

goldengate.userexit.timestamp=utc

goldengate.userexit.nochkpt=true

尝试启动 javaue

PS.

如果出现 “不出错”的错误(rpt 文件没有任何异常信息)，但 start javaue 窗口一闪而过，死活无法启动。

记住如下方式：用命令行参数模式启动 javaue，可以显示 “不出错”错误。

extract paramfile D:\oracle\product\11.1.0\x86_ogg4oracle_target\dirprm\javaue.prm

正式编写 OGG Adapter Java 插件代码新建项目 custom，添加 jar包引用。

创建 Java文件 SampleHandler，源码如下：注意：OGG 12 和 OGG 11 的代码是完全不同的。//---------------------------------------------------------------------------------------------------package sample; //包名称 sample，类名称 SampleHandler —— 有没有让你想到什么？ javaue.propertiesimport java.io.*;//这是 OGG 11 的 import import com.goldengate.atg.datasource.AbstractHandler;import com.goldengate.atg.datasource.DsConfiguration;import com.goldengate.atg.datasource.DsEvent;import com.goldengate.atg.datasource.GGDataSource.Status;import com.goldengate.atg.datasource.meta.DsMetaData;import com.goldengate.atg.datasource.test.DsTestUtils.Logger;import com.goldengate.atg.datasource.meta.*;import com.goldengate.atg.datasource.*;//这是 OGG 12 的 import //import org.slf4j.Logger;//import org.slf4j.LoggerFactory;//import oracle.goldengate.datasource.AbstractHandler;//import oracle.goldengate.datasource.DsConfiguration;//import oracle.goldengate.datasource.DsEvent;//import oracle.goldengate.datasource.DsTransaction;//import oracle.goldengate.datasource.conf.DsHandler.Handler.Status;//import oracle.goldengate.datasource.meta.DsMetaData;//import oracle.goldengate.datasource.GGDataSource;public class SampleHandler extends AbstractHandler { //OGG 11 和 OGG 12 的日志好像不一样， OGG 12 似乎要写 LoggerFactory.getLogger(SampleHandler.class); private final Logger logger = com.goldengate.atg.datasource.test.DsTestUtils.Log4jLogger.getLogger(SampleHandler.class); @Override public void init(DsConfiguration conf, DsMetaData metaData) { super.init(conf, metaData); logger.info("init!"); WriteStringToFile("D:\\SampleHandler。log", "SampleHandler.init(*)"); } @Override public Status transactionCommit(DsEvent e, DsTransaction tx) { logger.info("transactionCommit!"); WriteStringToFile("D:\\SampleHandler。log", "SampleHandler.transactionCommit(*)"); return Status.OK; } @Override public void destroy() { super.destroy(); WriteStringToFile("D:\\SampleHandler。log", "SampleHandler.destroy(*)"); logger.info("destroy!"); } @Override public String reportStatus() { WriteStringToFile("D:\\SampleHandler。log", "SampleHandler.reportStatus(*)"); return "reportStatus"; } public void WriteStringToFile(String filePath, String text) { try { System.out.println(text); File file = new File(filePath); PrintStream ps = new PrintStream(new FileOutputStream(file)); //ps.println(text);// 往文件里写入字符串 ps.append(text);// 在已有的基础上添加字符串 } catch (FileNotFoundException e) { e.printStackTrace(); } } }//---------------------------------------------------------------------------------------------------编译通过，导出 jar包：

再次启动 javaue：窗口再次一闪而过，启动失败，继续查错。

参考：https://blog.csdn.net/catoop/article/details/49300853

重装 Java环境，重新修改 4个环境变量，验证 java 安装环境。

java -jar D:\hello.jar

重启电脑(或者关掉所有 cmd, ggsci 窗口)，重新打开 \x86ogg4oralcetarget\ggsci.exe 输入命令： start mgr start javaue

现代诗：《OGG的迷惘》那一刻，

晶莹的泪水滑过脸庞，

我似乎，

看到了成功的希望。

蹉跎与挣扎，

纠结与迷惘。

在折腾中，我终究能走向想要的远方。

—— 再给我一次机会，让我再配置一次OGG。

—— 不！我选择死亡(骂娘)~

打油诗：《神坑OGG》神坑最多OGG，

坑得劳资没脾气。

坑得劳资没脾气~

神坑最多OGG~

开始测试 javaue 插件是否成功：程序这次崩溃了，对比一下两种配置：

在下面的配置(崩溃)中，我们看到了一个路径 dirlib/custom.jar。

我们尝试将 eclipse 导出的 jar 文件 D:\Temp\custom.jar，复制到 \x86ogg4oracletarget\dirlib\ 文件夹(dirlib 要手动创建)

再次运行，还是崩溃，还是相同的错误信息：

虽然不报错了，但为什么我在 insert 时，插件代码没有执行呢？？？

我们删除 javaue，然后重建一下：

再次启动 start javaue —— 记住我的ID，再不成功，我直播倒立写代码 ~

结果我又失望了：插件似乎没有执行 —— 插件的代码会生成一个 D:\ SampleHandler.log 的日志文件的，但结果没有。

我似乎又打脸了 —— 啪啪的疼~

我整个人都不好了，日子本已如此艰难，真心快要过不下去了。

就在我一筹莫展时，我有事没事的翻看 \x86ogg4oracletarget\ 的几个 6个字母的文件夹。

意外发现了一个文件，我好奇的将文件打开。

我看到了一个路径：没错啊！就是我配置的数据文件夹路径。

确实没错啊！难道非要验证一下路径么？我虽然吃路径的亏上了 5次当了。

—— 但这个路径确实没错啊，还不信，我复制给你看看。

整个人都不好了，文本配置最大的弊端就是：你敲几百几千个字母，一点手误都不能有(尼玛路径错了还没提示)

再次重建 javaue，插入数据 —— 我这次也没抱啥希望了，被折磨哭了都，不想被打脸了。

我看到了一个路径： \dirdat\r1000000 —— 感觉很奇怪：

源端 ext1 >>> 目标端 rep1，这种数据文件都已经到了 r1000005 了 —— 为什么 javaue 还在找 r1000000

—— 要不，在源端重建一个 ext2，使用 r2，让 javaue 从 r2 找数据？

打开源端 OGG 目录：新建 ext2

源端添加、启动 ext2，启动成功(我都已经驾轻就熟了) ：

打开目标端，重建 javaue，使用 r2：

这次，我们看到了一段之前没有出现过的代码：

打开 dirdat 目录：

再次执行 insert 脚本，插入数据的那一刻，javaue 崩溃了：

一脸懵逼，整个人都不好了。就在我手足无措时，我意外看到 D:\ SampleHandler.log 文件被创建了 —— 虽然程序崩溃了，但是Java代码执行了。

FlagFile 意外配置成功了(本文不多说了，就截了个图)

心累了，又折腾了一天时间。直接说结果吧：

OGG Adapter Java，只和 /dirdat/r2000000 这种数据有关【和版本无关、和 x86 x64 无关，和源端、目标端无关。】

整个OGG 所有涉及到的所有路径，都必须使用反斜杠 /。【如果写成 D:\AAA\x86\ 程序可能会识别为乱码而诡异崩溃。】

尤其注意：添加 javaue 时，路径一定要用反斜杠 /

其实直到现在，

OGG Adapter Java 11 x86 版本每次都会崩溃。就是前两个步骤的BUG截图：数据变化捕获到了，Java代码执行了，但是程序崩溃了。

OGG Adapter Java 12 x64 版本，我把 /dirprm/javaue.prm 和 /dirprm/javaue.properties 和 /dirprm/source.def 三个文件从 11 拷贝到 12，执行 add extract javaue —— 程序却能正常运行，捕获到数据。

OGG 源端必须和 Oracle 版本、32\64 位保持一致。

但是 OGG Adapter 没那么多限制。OGG Adapter 只针对 /dirdat/r1 或 /dirdat/r2 这类 Trail 文件。

最终方案如下：

仔细看右下角：我增加了一个 OGG 12 x64 —— 由这个 OGG 启动 javaue。

而 javaue 只只要对接磁盘文件 dirdat\r2000001

虽然有两个 OGG 11 x86，但是好在磁盘 Trail文件是互通的。

放一个成功运行的截图：

我写了一个 C#程序，每隔一秒就向 ADMIN.TB_TEST 写入一行记录。

理论上 ROOT.TB_TEST 会同步这些数据。

理论上 javaue 能捕获到数据变化。

至此，第二目标完成。最后放出最终成功的配置：

或者参见下一篇文章《OGG Adapter Java一次性成功》

dirprm 文件夹：

javaue.prm 配置：

javaue.properties 配置：

Source.def 是生成的(生成方式看文章前面)，手写无效：

custom.jar 是编译后导出的 jar包：//---------------------------------------------------------------------------------------package sample;import java.io.*;import java.util.ArrayList;import java.util.List;import java.util.Set;//这是 OGG 11 的 import //import com.goldengate.atg.datasource.AbstractHandler;//import com.goldengate.atg.datasource.DsConfiguration;//import com.goldengate.atg.datasource.DsEvent;//import com.goldengate.atg.datasource.GGDataSource.Status;//import com.goldengate.atg.datasource.handler.*;//import com.goldengate.atg.datasource.meta.DsMetaData;//import com.goldengate.atg.datasource.test.DsTestUtils.Logger;//import com.goldengate.atg.datasource.meta.*;//import com.goldengate.atg.datasource.*;//这是 OGG 12 的 import import org.slf4j.Logger;import org.slf4j.LoggerFactory;import oracle.goldengate.datasource.AbstractHandler;import oracle.goldengate.datasource.DsColumn;import oracle.goldengate.datasource.DsConfiguration;import oracle.goldengate.datasource.DsEvent;import oracle.goldengate.datasource.DsOperation;import oracle.goldengate.datasource.DsOperation.OpType;import oracle.goldengate.datasource.DsTransaction;import oracle.goldengate.datasource.GGTranID;import oracle.goldengate.datasource.meta.ColumnMetaData;import oracle.goldengate.datasource.meta.DsMetaData;import oracle.goldengate.datasource.meta.TableMetaData;import oracle.goldengate.datasource.meta.TableName;import oracle.goldengate.datasource.GGDataSource.Status;public class SampleHandler extends AbstractHandler { //OGG 11 和 OGG 12 的日志好像不一样， OGG 12 似乎要写 LoggerFactory.getLogger(SampleHandler.class); //private final Logger logger = Log4jLogger.getLogger(SampleHandler.class); private final Logger logger = LoggerFactory.getLogger(SampleHandler.class); @Override public void init(DsConfiguration conf, DsMetaData metaData) { super.init(conf, metaData); logger.info("init!"); WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.init(*)"); } @Override public Status transactionCommit(DsEvent e, DsTransaction tx) {// DsMetaData meta = e.getMetaData();// //System.out.println(meta);// // Set tableNames = meta.getTableNames();// for(TableName tableName : tableNames){// String tableStr = "";// tableStr = tableStr + tableName+" : "; TableMetaData metaData = meta.getTableMetaData(tableName);// ArrayList columns = metaData.getColumnMetaData();// for(ColumnMetaData column : columns){ // tableStr = tableStr + "\r\n " + column.getColumnName() + " | "+column.getDataType().toString();// }// // System.out.println(tableStr+"\r\n"); // //System.out.println(metaData);// }// // //GGTranID tranId = e.getTargetCheckpointInfo();// //System.out.println(tranId);// // System.out.println(tx.getSize());// System.out.println(tx.getTotalOps());// System.out.println(tx.getReadTime());// System.out.println(tx.getTransactionBeginTime());// // // Object eventSource = e.getEventSource();// System.out.println(eventSource);// // DsOperation lastOp = tx.getLastOperation();// System.out.println(lastOp);// // // List listOp = tx.getOperations();// System.out.println(listOp.size());// //System.out.println(listOp.get(0).getColumn(0).getBeforeValue());// for(DsOperation op : listOp){// System.out.println(op.getTableName());// } Status superResult = super.transactionCommit(e, tx); logger.info("transactionCommit!"); WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.transactionCommit(*) => "+superResult); return superResult; } @Override public Status operationAdded(DsEvent e, DsTransaction tx, DsOperation dsOperation) { DsMetaData meta = e.getMetaData(); //System.out.println(meta);// Set tableNames = meta.getTableNames();// for(TableName tableName : tableNames){// String tableStr = "";// tableStr = tableStr + tableName+" : "; TableMetaData metaData = meta.getTableMetaData(tableName);// ArrayList columns = metaData.getColumnMetaData();// for(ColumnMetaData column : columns){ // tableStr = tableStr + "\r\n " + column.getColumnName() + " | "+column.getDataType().toString();// }// // System.out.println(tableStr+"\r\n"); // //System.out.println(metaData);// } System.out.println("---------------------------------------"); OpType opType = dsOperation.getOperationType(); System.out.println(opType); TableName tableName = dsOperation.getTableName(); System.out.println(tableName.getFullName()); TableMetaData metaData = meta.getTableMetaData(tableName); ArrayList columnMetas = metaData.getColumnMetaData(); List columns = dsOperation.getColumns(); for(int i=0; i>> \t" +column.getAfterValue():"")); } System.out.println("---------------------------------------"); Status superResult = super.operationAdded(e, tx, dsOperation); logger.info("operationAdded!"); WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.operationAdded(*) => "+superResult); return superResult; } //@Override //public DataSourceListener.State getState() { // return super.getState(); //} @Override public void destroy() { super.destroy(); WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.destroy(*)"); logger.info("destroy!"); } @Override public String reportStatus() { String superResult = "OK"; //super.reportStatus(); 调用父类函数,程序就会崩溃。 WriteStringToFile("D:\\SampleHandler.log", "SampleHandler.reportStatus(*) => "+superResult); return superResult; //return "status report...==="; } public static void WriteStringToFile(String filePath, String text) { try { System.out.println("AAAAAAAAAAAAAAAAA :" + text); FileWriter writer = new FileWriter(filePath, true); writer.write("\r\n"+text); writer.close(); } catch (IOException e) { //e.printStackTrace(); System.out.println(e.getMessage()); } } }//---------------------------------------------------------------------------------------至此，OGG 两大目标全部完成。几乎把能踩的坑都踩了一遍。

虽然，我会再写一篇文章《OGG Adapter Java一次性成功》

—— 但是，不要想太多：你还是得乖乖的回到这篇文章，学习如何从坑中逃出来。

—— 此篇OGG踩坑文章，踩的各种坑不下十几种，从配置到代码、从编码格式到反斜杠，从版本到位数，从环境变量到笔误。

—— 作者着实不容易。

最后还是以一首打油诗结尾：