一、 GoldenGate TDM技术原理
GoldenGate TDM(交易数据管理)软件是一种基于日志的结构化数据复制
软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这
些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。GoldenGate
TDM 软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据
库平台)之间实现大量数据亚秒一级的实时复制,其复制过程简图如下:
如上图所示,GoldenGate TDM的数据复制过程如下:
.. 利用捕捉进程(Capture Process)在源系统端读取Online Redo Log或
Archive Log,然后进行解析,只提取其中数据的变化如增、删、改操作,
并将相关信息转换为GoldenGate TDM自定义的中间格式存放在队列文
件中。再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进
程在每次读完log中的数据变化并在数据传送到目标系统后,会写检查
点,记录当前完成捕捉的log位置,检查点的存在可以使捕捉进程在中
止并恢复后可从检查点位置继续复制;
.. 目标系统接受数据变化并缓存到GoldenGate TDM队列当中,队列为一
系列临时存储数据变化的文件,等待投递进程读取数据;
.. GoldenGate TDM投递进程从队列中读取数据变化并创建对应的SQL语
句,通过数据库的本地接口执行,提交到数据库成功后更新自己的检查
点,记录已经完成复制的位置,数据的复制过程最终完成。
由此可见,GoldenGate TDM是一种基于软件的数据复制方式,它从数据库
的日志解析数据的变化(数据量只有日志的四分之一左右)。GoldenGate TDM将
数据变化转化为自己的格式,直接通过TCP/IP网络传输,无需依赖于数据库自
身的传递方式,而且可以通过高达9:1的压缩率对数据进行压缩,可以大大降低
带宽需求。在目标端,GoldenGate TDM可以通过交易重组,分批加载等技术手
段大大加快数据投递的速度和效率,降低目标系统的资源占用,可以在亚秒级实
现大量数据的复制,并且目标端数据库是活动的。
GoldenGate TDM提供了灵活的应用方案,基于其先进、灵活的技术架构可
以根据用户需求组成各种拓扑结构,如图所示:
GoldenGate TDM各种拓扑结构示意图
1. 单向数据复制:由一个源数据库复制到一个目的数据库,一般用于高可
用性和容灾,为生产机保持一个活动的备份数据库,从而在发生灾难的
时候迅速切换,减少数据丢失和系统宕机时间;
2. 双向数据复制:利用GoldenGate TDM可以实现两个数据库之间数据的
双向复制,任何一方的数据变化都会被传递到另一端,可以利用此模式
开展双业务中心;
3. 广播复制---由一个数据库向多个数据库复制,利用GoldenGate TDM的
数据过滤功能可以实现数据的有选择分发;
4. 集中复制---由多个数据库向一个数据库复制,可以将分布的、跨平台
或异构的多个数据库集中到一个数据库。此种模式广泛应用于n+1模式
的容灾,通过将多个系统数据库集中到一起,可以充分利用备份中心的
设施,大幅减少投资;另外也用于跨平台多系统的数据集成,为这些提
供系统提供一个统一视图便于查询和统计数据。
5. 多层复制---由A数据库向B复制,同时又由B向C复制,可以在以上
几种模式基础上无限制扩展。
由此可见,GoldenGate TDM的复制模式非常灵活,用户可以根据自己的需求
选择特定的复制方式,并根据系统扩展对复制进行扩展
二、 复制的可靠性
GoldenGate TDM 可以提供可靠的数据复制,主要体现在下面三点:
.. 保证事务一致性
GoldenGate TDM 在灾备数据库应用复制数据库交易的顺序与在生产中心数
据库上的顺序相同,并且按照相同的事务环境提交,确保在目标系统上数据的完
整性和读一致性,为实时查询和事务处理创造了条件。
.. 检查点机制保障数据无丢失
GoldenGate TDM的抽取和复制进程使用检查点机制记录完成复制的位置。
对于抽取进程,其检查点记录当前已经抽取日志的位置和写队列文件的位置;对
于投递进程,其检查点记录当前读取队列文件的位置。检查点机制可以保证在系
统、网络或GoldenGate TDM进程故障重启后数据无丢失。
.. 可靠的数据传输机制
GoldenGate TDM 用应答机制传输交易数据,只有在得到确认消息后才认为
数据传输完成,否则将自动重新传输数据,从而保证了抽取出的所有数据都能发
送到备份端。数据传输过程中支持128位加密和数据压缩功能;
三、 TDM支持操作系统和数据库类型
GoldenGate TDM公司的核心产品Transactional Data Management (TDM),
可以在异构的IT基础结构之间实现大量数据的秒一级的数据捕捉、转换和投递。
GoldenGate TDM可以支持几乎所有常用操作系统如和数据库平台,如下表所示:
操作系统
数据库
MS NT, 2000, XP, Linux, Sun Solaris,
HP-UX, IBM AIX, HP NonStop, TRU64, IBM
z/OS,OS/390
Oracle, DB2, MS SQL Server, MySQL,
Enscribe, SQL/MP, SQL/MX, Sybase,
Teradata, 其他ODBC 兼容数据库
。
五、 GoldenGate TDM部分客户名单
银行业
ABN India
ANZ Australia
ANZ New Zealand
Allied Irish Banks
Andrhaa Bank
Banca Sella
Banco de Credito e Inversion (BCI)
Banco Internacional, S.A. - BITAL
Banco Nacional de Mexico
Bank Gospodarki Zywnosciowej
Bank Mandiri
Bank of America(美国银行)
Bank of Ayudhya
Bank Central Asia
Bank of Executives
Bank of Indonesia
Bank Mandiri
Bank Negara Indonesia
Bank One
Bankart
BiK
Borica
China Trust Commercial Bank
Comerica
Commercial Bank of Greece
Consorzio Triveneto Spa
Emirates Bank International
Eurobank
Fleet Financial Services
FSPA Foereningssparbanken
Global Trust Bank
Government Savings Bank
HDFC Bank
HSBC(汇丰银行)
Hsinchu Bank
Huntington Services Corp.
ICICI BANK
Industry Construction Bank
Knet
Korean Exchange Bank
Muzo
National Australia Group
National Bank Of Greece
OTP Bank
PKO Bank Polski
Postbank
Punjab National Bank
Rabobank
Shanghai Commercial and Savings Bank
Siam City Bank
State Bank of India
State Bank of Mauritius
Taitung Business Bank
Toronto Dominion Bank
Transbank S.A.
Twinsoft for Deutsche Bahn
Ulster Bank
U.S. Bank (US Bancorp)
Unibanco
Union Bank of India
UTI Bank
Wachovia
Washington Mutual Bank
Wells Fargo
World Savings
…
金融保险业
ABN Amro
Affinitas (Consortia)
Alliance and Leicester
Arta Jasa
Assurant Inc.
ATH Costa Rica
Austrian Payment Systems
Bankserv
Benefit
Bolsa de Valores de Columbia
Bombay Stock Exchange
Bursatec (Mexican Stock Exchange)
Capital Securities
Cardsystems Solutions
CIBC
Concord EFS - Datawise
Everlink Payment Systems
Federated Investors
Fidelity Information Services
First Data Resources Australia Pte Ltd
Hanvit Securities
First Tennessee
Girobankard
Hyundai Securities
ITS Inc.
JCB International Co.
Jih Sun Securities
KeyCorp
Kookmin Credit
LG Card (LGC)
Lotte Card
Link Interchange Network
Market Axess Corporation
MasterLink Futures Corporation
MasterLink Securities
Merrill Lynch
National Credit Card Centre
National Processing Company
NYCE Corporation
PayPoint
Paymentech
Polaris Securities
Polcard
PreHoldings (ITC Financial)
Promisant
Pulse EFT
Raymond James Associates
Regionsykehuset i Tromsoe Samsung Card
Samsung Securities
Samsung Winners Card
Speedway Superamerica
Stored Value Systems
T-Chek Systems
Total Systems
Transacty
Travelers Express
UBS
VISA
Western Union
Woori Securities
卫生服务业
Antelope Valley Hospital
Baptist Health
Bronx Lebanon
Continuum Health Partners
North Carolina Baptist Health
Oakwood Healthcare Systems
OSF Healthcare
Park Nicollet Health Services
EHIT
Fresno Community Hospital
Group Health
Health Alliance of Cincinnati
Huntsville Hospital
INOVA Health Systems
Iowa Health System
Kettering Medical Center
Legacy Health System
Mayo Clinic Foundation
Montefiore Medical Center
Nebraska Health Systems
Parkview Health Systems
Peace Health
Schering-Plough
Sharp Healthcare
Sisters of Charity of Leavenworth
St. Francis Hospital
St. Joseph's Hospital
Thomas Jefferson University Hospital
University of Chicago Hospitals
University of California - San Francisco
…
电信业
Adelphia Communications Corp.
BCE/Emergis
BellSouth
Cable One
Cablevision Systems Corp.
Comcast Communications Inc.
Continental Datagraphics
Dell USA
DirecTV
Genpass Technologies
Getronics
Matav
NuWave Technologies, Inc.
Postini
Procomp
Singapore Computer Systems
SIS/ADP
Sprint
Syscom
Texas Electronic Information Comp.
Toyo Information Systems
West Corp
…
电子商务,零售,交通等
Boston Consulting Group
CIMA
Copperweld
Duke Energy
Genuine Auto Parts Company
Gillette
Hertz
Hyundai Motor America
Japan Airlines International
Korea Ministry of Information and Communication
Orbitz
Overstock.com
Party City
Publix Super Markets
Ross
Sabre Holdings
Safeway
Sandia National Labs - U.S. DoE
Shell Oil
Southwest.com
Mirage Resorts
MGM Grand
Office of Military Manpower Admin.
U.S. Air Force
U.S. Department of Defense
US Foodservice
Valero Energy Corporation
Water Corporation of Western Australia
…