习惯选择孤单
习惯选择孤单

GoldenGate4EDC-Guide

概述

GoldenGate简介

GoldenGate是Oracle公司的一款数据库中间件，它基于数据库的二进制日志以及事务提交，实现了数据库集群之间的数据迁移，主要用于数据库之间的同步和备份。

GoldenGate在组件中的作用

我们用GoldenGate来实现了对数据库数据修改的采集，以及将这些变化在远端输出为可供程序读取的文本文件。

结构简介

GoldenGate分为两端

源端作为数据源，负责从数据库采集数据，生成Trails文件，并发送到目标端；

目标端作为终点，负责处理从源端传来的Trails文件，并将这些文件转换为文本文件；

结构如图：


GoldenGate4EDC-Guide_第1张图片
Oracle Golden Gate结构图


源端

源端上装有Oracle和GoldenGate，GoldenGate将Oracle的数据采集并以事务为单位，写入本地Trails文件，并在远程的GoldenGate上生成新的Trails文件（目前只有DML操作）。相关组件如下：

manager

GoldenGate的监控进程，负责控制GoldenGate的其他组件

extract

从数据库的二进制日志中抽取变化到Trails文件

pump

从源端的Trails文件里抽取信息并推送到目标端的Trails文件

目标端

目标端上的GoldenGate将源端输送过来的GoldenGate文件以特定的规则，转换为特定格式的文本文件。相关组件如下：

manager

GoldenGate的监控进程，负责控制GoldenGate的其他组件

ffwriter

将本地的Trails文件读取并转换为文本文件

内部组件

ggsci

GoldenGate的控制台，可以通过这个操作GoldenGate的附属组件

defgen

用于生成srcdef文件，供目标端的GoldenGate使用

logdump

用来解析Trails文件


环境配置

基本环境

源端的主机上需要装有数据库，笔者使用的Oracle11g，安装Oracle的过程就不再叙述

Oracle设置

00.开启归档模式

查看是否开启归档模式

SQL>archive log list

如果没有开启，可以使用以下命令将其打开

SQL>alter database archivelog

查看归档日志路径

SQL> show parameter DB_RECOVERY_FILE_DEST

01.开启补充日志

查看是否开启补充日志

select supplemental_log_data_min from v$database;

如果没有开启，可以用以下命令开启

alter database add supplement log data;

02.创建一个用于GoldenGate的账户

该账户需要有较高的权限

源端

00.解压GoldenGate

推荐将安装包解压后的文件的用户和用户组修改为与oracle相同

chown -R orasusr01 ogg

chgrp -R orasusr ogg


01.初始化GGSCI

进入GoldenGate的Home目录

输入命令，进入ggsci

$ ./ggsci

进入之后，输入以下命令，创建相关目录

GGSCI > CREATE SUBDIRS

用开始创建的Oracle用户登录

GGSCI > DBLOGIN USERID goldengate, PASSWORD goldengate

添加需要被采集的表，笔者需要采集test001用户下所有的表

GGSCI > add trandata test001.*

02.配置Manager

查看当前所有进程信息

GGSCI > info all

新建Manager的配置文件

GGSCI > edit params mgr

文件内容如下

port 7999

启动mgr

GGSCI > START mgr

03.配置extract

新建extract的配置文件

EDIT PARAMS etc

配置文件ext.prm

EXTRACT ext

SETENV (ORACLE_SID = "sid")

SETENV (NLS_LANG = "AMERICAN_AMERICA.ZHS16GBK")

USERID userid, PASSWORD password

EXTTRAIL ./dirdat/la

dynamicresolution

table test001.*;

添加extract

ADD EXTRACT ext, TRANLOG, BEGIN NOW

并指定输出文件

ADD  EXTTRAIL ./dirdat/la,EXTRACT ext

启动ext

START EXTRACT ext

可以使用命令查看启动情况，如果处于RUNNING状态，则启动成功

GGSCI > info all

Program    Status      Group      Lag at Chkpt  Time Since Chkpt

MANAGER    RUNNING

EXTRACT    RUNNING    EXT        00:00:00      00:00:09

如果有异常，可以查看GoldenGateHome下的ggserr.log文件进行查看

03.配置pump

新建pump的配置文件

EDIT PARAMS pump

配置文件pump.prm

extract pump

passthru

rmthost 10.1.130.240, mgrport 7999

rmttrail ./dirdat/ra

dynamicresolution,nocompressupdates

table test001.*;

添加pump，并添加本地源文件

ADD EXTRACT pump, EXTTRAILSOURCE ./dirdat/la

添加pump的目标文件

ADD RMTTRAIL ./dirdat/ra, EXTRACT pump

启动

START EXTRACT pump


03.生成表结构的srcdef.def文件

目标端需要靠srcdef.def文件来掌握表结构，从而进行解析

配置flatfile.prm文件

DEFSFILE ./dirdef/srcdef.def

USERID goldengate,PASSWORD goldengate

TABLE test001.*;

生成srcdef.def文件

在GoldenGateHome目录下运行一下命令，运行时确保dirdef目录下没有srcdef.def文件

./defgen PARAMFILE ./dirprm/flatfile.prm

将生成的srcdef.def放到目标端的目录下

目标端

00.解压压缩包，并将调整其权限

01.将lib添加到根目录

libnnz11.so

libclntsh.so.11.1

flatfilewriter.so

02.初始化ggsci

03.配置manager

新建配置文件

EDIT PARAMS MGR

配置文件内容如下

port 7999

启动

START mgr

04.配置ffwriter

新建配置文件

EDIT PARAMS FFWRITER

配置文件ffwriter.prm

extract ffwriter

sourcedefs ./dirdef/srcdef.def

CUSEREXIT ./flatfilewriter.so CUSEREXIT PASSTHRU INCLUDEUPDATEBEFORES,PARAMS "./dirprm/ffwriter.properties"

table test001.*;

复制srcdef.def文件

复制ffwriter.properties文件

添加ffwriter并设定输入路径

ADD EXTRACT ffwriter, EXTTRAILSOURCE ./dirdat/ra

启动

START EXTRACT ffwriter


准备

检查系统，确保源端和目标端的GoldenGate各个进程都在正确运行

需要在两端的GGSCI中输入如下命令：

INFO ALL

如果修改了表，需要在源端重新生成srcdef.def文件，并重启除了Manager之外的所有组件

文件格式说明

文件标题格式

前缀_用户名_表名_年_月_日_时_分_秒_编号_后缀

00.每个表会有一组文件来记录其改变；

01.如果有持续的事务提交，每10秒会生成一个新的文件[需要看配置文件]

02.文件的编号从00000开始递增；

03.文件名可配置，在ffwriter.properties文件中配置

文件内容

"事务类型"|" DML操作类型"|"时间"|"用户名""表名"|"K"|old V|new V[|"K"|old V|new V]...

00.事务类型：

a."3"：如果事务里只有一个DML操作，那么事务类型的位置会

b.“B”：如果一个事务里有多个DML操作，第一个DML的事务类型会显示为“D”

c.“E”：如果一个事务里有多个DML操作，最后一个DML操作的事务类型会显示为“E”

d.“M”：如果一个事务里有多个DML操作，除了“D”和“E”之外的DML操作的事务类型会显示为“M”

01.DML操作类型

a.“I”：INSERT操作

b.“D”：DELETE操作

c.“U”：UPDATE操作

02.在不同操作时KV的呈现

a.INSERT操作

00.旧值全部被占位符()占据

01.对于新值，如果出现在插入语句中，则被语句中的值填充，否则被占位符填充

b.DELETE操作

00.对于主键，仅在旧值里显示，新值用占位符占据

01.其他字段全部没有内容

c.UPDATE操作

00.主键无论是否被更改，都会填充对应的旧值新值

01.其他出现在update语句中的字段，则旧值和新值的位置，对应该字段修改前后的值，如果为空，则以占位符占位

02.未出现在语句中的字段，则没有内容

文件输出

输出配置文件ffwriter.properties，请见github

你可能感兴趣的:(GoldenGate4EDC-Guide)

  • GoldenGate4EDC-Guide 习惯选择孤单
    概述GoldenGate简介GoldenGate是Oracle公司的一款数据库中间件，它基于数据库的二进制日志以及事务提交，实现了数据库集群之间的数据迁移，主要用于数据库之间的同步和备份。GoldenGate在组件中的作用我们用GoldenGate来实现了对数据库数据修改的采集，以及将这些变化在远端输出为可供程序读取的文本文件。结构简介GoldenGate分为两端源端作为数据源，负责从数据库采集数
  • apache ftpserver-CentOS config gengzg apache
    <server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
  • 优化MySQL数据库性能的八种方法 AILIKES sqlmysql
    1、选取最适用的字段属性 　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的 性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
  • JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
    JeeSite 企业信息化快速开发平台 平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
  • 通过Spring Mail Api发送邮件 120153216 邮件main
    原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。 【Spring Mail API】 Spring Mail API都在org.spri
  • Pysvn 程序员使用指南 2002wmj SVN
    源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
  • 在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
    SELECT  R.session_id AS BlockedSessionID ,          S.session_id AS BlockingSessionID ,          Q1.text AS Block
  • Intent 常用的用法备忘 7454103 .netandroidGoogleBlogF#
    Intent     应该算是Android中特有的东西。你可以在Intent中指定程序 要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料 。都指定好后，只要调用startActivity()，Android系统 会自动寻找最符合你指定要求的应用 程序，并执行该程序。 下面列出几种Intent 的用法 显示网页:
  • Spring定时器时间配置 adminjun spring时间配置定时器
    红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
  • POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
    来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。 思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。 代码： #include <iostream> #include <cstdio>
  • 重构笔记——提取方法（Extract Method） ayaoxinchao java重构提炼函数局部变量提取方法
    提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。   下面是我学习这个重构手法的笔记：   提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
  • 为UILabel添加点击事件 bewithme UILabel
        默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。   UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
  • NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis数据库NoSQL
    一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
  • SecureCRT使用备注 bingyingao secureCRT每页行数
    SecureCRT日志和卷屏行数设置 一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
  • 【Scala九】Scala核心三：泛型 bit1129 scala
    泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
  • 素数与音乐 bookjovi 素数数学haskell
        由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。     闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
  • Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
            这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。         简单的说，IdentityHashMap和HashM
  • 读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
  • PS人像润饰&调色教程集锦 cherishLC PS
      1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/   新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。   所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
  • 更新多个字段的UPDATE语句 crabdave update
    更新多个字段的UPDATE语句                    update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
  • hive实例讲解实现in和not in子句 daizj hivenot inin
    本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。 假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
  • 一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
    这是人类算24点的方法？！！！ 事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态 朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。 然后么。。。我就在深夜很得瑟的问室友求室友算 刚出完题，文哥的暴走之旅开始了 5秒后
  • 关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yiiframework
    在使用 YIi的路径管理工具时，发现了一个问题。                    <?php         
  • 对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
    概述   “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。   “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
  • 学习编程那点事 gcq511120594 编程互联网
    一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
  • Reverse Linked List II hcx2013 list
    Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return 
  • Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Hadoop集群工具distcp liyonghui160com
        1. 环境描述 两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
  • 一个备份MySQL数据库的简单Shell脚本 pda158 mysql脚本
    　　主脚本（用于备份mysql数据库）： 　　该Shell脚本可以自动备份 数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。 　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
  • 300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
    A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
  • thrift总结 - 跨语言服务开发 uule thrift
    官网 官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍   RPC    POM： <dependency> <groupId>org.apache.thrift</groupId>
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他