Oracle Goldengate 打通数据贯通的金桥--原厂笔记

主要议程

云下云上数据贯通

从报告中我们可以看到一些有趣的数据：93%的企业采用了多云策略，41%的应用程序在多云之间数据集成，61%的组织计划将重点放在云迁移上。通过这些数据可以预见未来多云环境下的数据同步需求将出现爆发式的增长

数据集成的需求

零停机迁移、为数据湖/数仓供数、读写分离、多云之间数据同步、双活容灾、流数据实时分析这些需求都需要实时数据同步来解决，所以在今天人们比以往更需要数据实时同步。

技术调整

我们的Oracle解决之道就是GoldenGate数据实时同步解决方案。GoldenGate是一座桥，它不光是金门大桥的意思，它还是在不同数据源之间架起的一座数据实时复制的桥梁。GoldenGate是非侵入式数据同步工具，因为它是通过读取和分析数据库的日志文件捕获变化的数据，不需要访问生产表，对数据库的影响很小，能够实现同构/异构数据库间实时数据同步,可单向也可双向，两边数据库都是可读可写的。所以GoldenGate的特点就是异构、双活、实时和保证事务的完整性。

平台功能

GoldenGate平台的基础是数据库事务复制。 GoldenGate是全球领先的数据复制技术，可实现最大数据可用性，零停机迁移，数据集中和分发和数据仓库加载等应用场景。 近年来，数据湖管道, 用goldengate为kafka、大数据环境供数是GoldenGate平台增长最快的应用领域之一,也是实现企业业务创新的助推器。

多云的能力

为了满足用户多云数据同步的需求，GoldenGate已经认证的Oracle、Azue、AWS等众多云厂商RDS数据库。

生态的整合能力

GoldenGate是一个真正的企业级平台，支持所有最常见的企业数据库，数据仓库，近几年Goldengate的创新使得我们现在可以全面支持云数据库，大数据环境，NoSQL引擎和流数据处理平台, 是企业数据移动和数据加载的理想平台，因为与ETL工具不同，GoldenGate对数据源影响很少，不需要批处理窗口，并且与其他复制工具相比，GoldenGate可以执行的更好，更可靠

灵活的拓扑

GoldenGate以灵活的拓扑结构满足多种应用需求,GoldenGate能够实现单向查询分流, 整合多个数据源到ODS实现实时数据仓库,数据库双活容灾，数据分发、集中，多主分布式等多种应用场景。

Goldengate的持续创新能力

Oracle GoldenGate成为行业领先的数据复制软件已有20多年了。我们可以看到 90年代DR，2000年数据复制，2010 数仓，2015至今 数据湖和云, 在过往的20年中goldengates始终紧跟IT发展的潮流。下面我为大家详细的介绍一下紧贴用户需求的独特创新。

远程抽取和投递的能力

2017年的时候GoldenGate研发了一种新的远程抽取和投递模式，使得goldengate可以部署在中间层服务器上，远程连接到源数据库捕获增量数据，然后远程投递到目标数据库。在源和目标数据库上不需要安装goldengate软件，把goldengate对数据库服务器的影响降到最低。
GoldenGate19C新增支持跨操作系统的远程抽取和投递，比如装在linux上的goldengate可以远程抽取aix,solairs,hpunix，windows上的数据库，大大减少了GoldenGate部署量和日常运维量
另外，对于云厂商的RDS数据库，因为RDS数据库是无法访问底层数据库服务器的，Oracle goldengate的远程抽取模式能够支持实时捕获云厂商的RDS数据库变化数据。

Oracle内核级别的集成

Oracle GoldenGate对于Oracle数据库的数据复制性能，没有其他第三方软件可以和GoldenGate比较。自2009年收购GoldenGate以来，Oracle每年投入数千人天研Oracle专用事务捕获接口XStream APIs,以保证数据捕获的性能和稳定性。另外Oracle数据库的redo log日志格式从来没有公开过的， redo log格式每个数据库版本都是不同的，目前Oracle19c的实时数据捕获只有goldengate能支持。

现在GoldenGate 19c的抽取性能比之前版本提升了10多倍,比其他第三方软件快了几十倍，完全能够满足用户的需求。GoldenGate19c 新增的并行投递特性使得投递性能比之前提升5倍以上；Goldengate19C远程捕获经过优化，使得延迟时间小于100ms的网络,远程捕获性能与本地捕获类似。

非Oracle数据库性能极具竞争力，已广泛应用在DB2，MYSQL，SQL Server和其他非Oracle数据库的同步项目中

对于GoldenGate Big Data，已与kafka的创始者LinkedIn和Confluent直接合作以优化GoldenGate for Kafka的性能，全球最大的5个kafka集群中有4个已使用了GoldenGate for Kafka。

Goldengate的marketplace三步部署

lilichao:
我们在Oracle cloud上发布了GoldenGate Markplace，现在我们的客户可以通过3个简单的步骤，在不到10分钟的时间内在Oracle Cloud成功部署GoldenGate。目前goldengate marketplace支持Oracle，mysql，SQLserver和DB2数据库，并且现在goldengate marketplace是免费的,用户只需要花费很少的租用虚机的费用。

微服务版本的Goldengate

在之前的版本中GoldenGate都是配置管理都是命令行的方式，现在发布的Goldengate微服务版本提供了基于浏览器的图形化配置、管理和监控能力，并且提供RESTful APIs接口,便于用户将GoldenGate的监控加入到自己的监控平台和DEVOPS中。

对cloud，saas，big data的支持

您是否知道，至2017年以来Oracle GoldenGate新增支持的平台超过了过去20年的总和，我们支持绝大多数主流的大数据技术，比如kafka， HDFS,Hive,HBase,Mongodb,Greenplum,Elasticsearch等等,Goldengate for bigdata已经被数千家企业所采纳，成为近几年GoldenGate增长的应用领域。GoldenGate对云厂商RDS数据库的支持能力也是用户急需的

项目案例

GoldenGate助力某企业数据上云
1.内网GoldenGate捕获内网数据库的变化数据，并发送到DMZ的GoldenGate
2.DMZ区的GoldenGate将变化的数据加密后转发到云端的GoldenGate
3.云端GoldenGate将接受到的变化数据按照源数据库事务发生的先后次序，应用到目标端ADW数据库，使得源和目标数据库保持一致

GoldenGate的作用:

1. GoldenGate非入侵式的捕获源端数据库的增量数据,实时同步到云端ADW，保证了云端报表的准确性
2. GoldenGate 能够满足用户严格的网络端口开放要求，将内网数据库数据同步到云端ADW
   3.断点续传，简单易用易维护，IT人员很快就能上手掌握

我们来看一下EBay 正在做什么?
EBay使用GoldenGate将数据从EBay应用系统实时同步到 Kafka集群,用于用户和购买行为的流数据分析。
5年前：Ebay计划数据加工的方式从批处理转为增量处理，尝试使用Shareplex失败后，转用GoldenGate；
今天:Ebay拥有世界上第二大的Kafka集群，使用GoldenGate与Kafka相结合，每天从超过150套Oracle和MYSQL数据库中抽取超过1000亿笔事务。

让我们来看看QuickBooks正在做什么？
QuickBooks使用GoldenGate 实现数据高可用和流数据的分发,在AWS的RDS上创建了30多个数据库，每个库数据量将近6TB,使用Oracle GoldenGate将数据从云端数据库同步到本地Kafka集群（每张表对应一个主题）。
5年前:GoldenGate用于将大量数据库从本地迁移到 AWS；
今天:GoldenGate用于将数据从云端数据库同步到本地Kafka集群,为数据湖和数据仓库供数。

OGG上云

GoldenGate另一个常用场景就是零停机迁移，GoldenGate可以实现异构数据库，业务近似零中断的迁移，并且支持反向同步便于失败回退，降低迁移风险。

OGG的0停机

基于数据泵的数据库初始化步骤包括:
1.开启抽取进程
2.检查有无长时间未提交的事务(事务开始时间早于捕获启动时间)，记录当前SCN号
3.按照scn号导出数据
4.数据导入至目标端
5.指定投递进程从scn号之后应用增量数据

GoldenGate常见错误

采用GoldenGate迁移的常见错误
1.因为goldengate已经在源端捕获了触发器、job产生的增量数据，所以需要在目标端需要禁用触发器、级联删除和数据库job，不然就重复了
2.在导出数据时要查一下有没有有没有事务开始时间在启用捕获之前的，否则目标端就会丢失这个事务的数据，导致数据不一致
3.Goldengate进程捕获模式不支持RAC数据库有XA事务，需要采用集成抽取模式
4.Goldengate进程捕获模式不支持TDE透明加密，需要采用集成抽取模式
5.GoldenGate集成抽取模式支持从redo log中捕获DDL语句，避免源和目标库表结构不一致
6.采用GoldenGate集成抽取模式后rman备份不会删除Goldengate需要的归档日志文件

Goldengate的演示