数据同步工具oracle goldengate安装与配置

1.前言

跨平台、异构数据库之间的数据同步，方案有限，Oracle OGG算比较靠谱的一个：

优点：性能好，大数据量速度快，对线上库性能的影响忽略不计；
缺点：安装配置、维护有点麻烦，尤其是后期有字段变更时；
个人觉得适合部署在小范围、大数据量、对性能要求较高的同步需求。

本案例以Oracle(10.10.10.1) -> mysql(10.10.10.2)说明其部署过程以及注意事项。
原理说明：
OGG从源库的redo log或归档日志中提取出相关表的数据变更，生成特定格式的文件，发送至目标库；目标库读取文件，应用到目标表；
源库有ext\pump进程，目标库有rep进程，这些进程分别完成数据提取、发送文件、应用文件的任务；
本案例中分别是ext1\pump1\rep1进程，每个进程有其各自的配置文件；
如果源库已经在线上跑过一段时间了，有了数据量，就需要通过初始化任务来先初始化目标库，然后再通过ext1\pump1\rep1进程增量同步‘
本案例中分别是initext1\initrep1完成初始化（注：初始化无pump进程）

此外，源和目标各有1个manager进程负责全局配置。

盗个图：

2.安装

for oracle
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/u01/app/oracle/ggs:$ORACLE_HOME/lib
./runInstaller
指定安装路径
./ggsci
create subdirs

for mysql
解压
直接执行./ggsci
create subdirs

3.准备

Oracle数据库归档模式；
Oracle数据库设置SUPPLEMENTAL LOG和FORCE LOGGING：
  SELECT supplemental_log_data_min, force_logging FROM v$database;
  SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
  SQL> ALTER DATABASE FORCE LOGGING;
Oracle数据库设置表trandata
./ggci
ggsci > dblogin userid system password mypwd
ggsci > add trandata myschema.mydb

mysql设置以下参数：
binlog_row_image：full（默认）
log_bin
log_bin-index
max_binlog_size
binlog_format

mysql库中在mydb中创建checkpoint表：chkpt_mysql_create.sql

源表和目标表表必须有主键或唯一键；
目标表清空；
目标表禁用外键、约束、触发器；
如果初始数据量较大，临时删除目标表索引，初始化导入后再建

4.配置文件

以下文件置于dirprarm目录下
--源端--

mgr:
PORT 7809
DYNAMICPORTLIST 7810-7820
ACCESSRULE, PROG *, IPADDR 192.168.*.*, ALLOW
--AUTOSTART ER *
--AUTORESTART ER *, RETRIES 3, WAITMINUTES 3
STARTUPVALIDATIONDELAY 5
PURGEOLDEXTRACTS /backup/ggs12/dirdat/*, USECHECKPOINTS, MINKEEPHOURS 2

initext1:
EXTRACT initext1
SETENV (ORACLE_HOME = "/u01/app/oracle/product/11.2.0/dbhome_1")
SETENV (ORACLE_SID = "myora")
USERID system PASSWORD mypasswprd
RMTHOST 10.10.10.2, MGRPORT 7809
RMTTASK REPLICAT, GROUP initrep1
TABLE schema_name.table_name;

ext1:
EXTRACT ext1
SETENV (ORACLE_HOME = "/u01/app/oracle/product/11.2.0/dbhome_1")
SETENV (ORACLE_SID = "myora")
USERID system PASSWORD mypwd
LOGALLSUPCOLS
EXTTRAIL /backup/ggs12/dirdat/aa
TABLE myschema.mytable;

pump:
EXTRACT pump1
USERID system PASSWORD mypassword
RMTHOST 10.10.10.2, MGRPORT 7809
RMTTRAIL /data1/ggs/dirdat/aa
TABLE myschema.myname;

--目标端--

mgr:
PORT 7809
DYNAMICPORTLIST 7810-7820
#AUTOSTART ER *
#AUTORESTART ER *, RETRIES 3, WAITMINUTES 3
STARTUPVALIDATIONDELAY 5
PURGEOLDEXTRACTS /data1/ggs/dirdat/*, USECHECKPOINTS, MINKEEPHOURS 2

initrep1:
REPLICAT initrep1
TARGETDB [email protected]:3306, USERID root, PASSWORD mypassword
MAP myschema.mytable, TARGET mydb.mytable, COLMAP(USEDEFAULTS, source_cola = target_cola, source_colb = target_colb);

rep1:
REPLICAT rep1
TARGETDB [email protected]:3306, USERID root, PASSWORD mypassword
MAP myschema.mytable, TARGET mydb.mytable, COLMAP(USEDEFAULTS, source_cola = target_cola, source_colb = target_colb);

5.创建进程

创建好配置文件后，收到执行以下命令创建进程（自动读取配置）

--源端--

ggsci > add extract initext1, sourceistable
ggsci > add extract ext1, tranlog, begin now
ggsci > add exttrail /backup/ggs12/dirdat/aa, extract ext1
ggsci > add ext pump1, exttrailsource /backup/ggs12/dirdat/aa
ggsci > add rmttrail /data1/ggs/dirdat/aa, ext pump1

--目标端--

ggsci > add replicat initrep1, specialrun
ggsci > add rep rep1, exttrail /data1/ggs/dirdat/aa, checkpointtable mydb.ggs_checkpoint

6.开始同步

source:
ggsci > start ext1
ggsci > start pump1

target
rep1设置HANDLECOLLISIONS

source:
ggsci > start initext1

target:
ggsci > view report initrep1
确认initrep1执行完成
ggsci > start rep1
ggsci > info rep1
rep1配置文件删除HANDLECOLLISIONS?配置
ggsci > send replicat rep1, nohandlecollisions

ggsci > start rep rep1

7.注意事项

（1）.OGG不能识别复合唯一键，因此有复合键的需要用keycols指定，否则以所有字段作为key；

（2）.调整源或目标表的字段步骤：

停止ext\pump\rep进程
修改源和目标库字段

启动ext\pump\rep进程

为了防止DBA或运维误操作，在oracle相关表上创建触发器，提醒这是ggs table：

create or replace trigger tri_ddl_ggstab_permission
before drop or truncate or alter on database
begin
    if ORA_DICT_OBJ_NAME in ('TABNAME1','TABNAME2') then
            raise_application_error(-20001,'GGS table, Contact DBA.');
    end if;
end;

（3）.万事离不开监控，ggs的监控可以通过创建心跳表监控实时同步情况

说明：

在源和目标表建心跳表；

源通过JOB自动更新心跳表；

目标表定时检查心跳表的时间与当前时间之差；

目标表中now() - update_time，反应了ggs同步情况；

目标表中auto_time - update_time，反应了ggs延时情况；

source:
create table ggs_monitor(ggs_process varchar2(100), update_time date) tablespace lbdata;
alter table ggs_monitor add constraint pk_ggsmonitor primary key(ggs_process);
insert into ggs_monitor(ggs_process,update_time) values ('ext1',sysdate);
begin
  dbms_scheduler.create_job(job_name        => 'job_ggs_monitor',
                            job_type        => 'PLSQL_BLOCK',
                            job_action      => 'begin update ggs_monitor set update_time=sysdate; commit; end;',
                            start_date      => sysdate,
                            enabled         => true, 
                            repeat_interval => 'Freq=Secondly;Interval=10');
end; 
target:
create table ggs_monitor (
  ggs_process varchar(100) COLLATE utf8_bin DEFAULT NULL,
  update_time datetime DEFAULT NULL,
  auto_tim` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  primary key(ggs_process)
);

GGS配置注意事项：
ext1:  TABLE system.ggs_monitor, WHERE (ggs_process = 'ext1');

zabbix
UserParameter=ggsAvail[*],/etc/zabbix/script/ggsAvail.sh $1
UserParameter=ggsDelay[*],/etc/zabbix/script/ggsDelay.sh $1

ggsAvail.sh 
#!/bin/bash
if [ $# -ne 1 ]; then
    echo "Usage:$0 extname"
    exit
fi

extname=$1
rootPath=/etc/zabbix/script
tmpLog=$rootPath/tmpGgsAvail${extname}.log

mysql -u root -pmypwd < ${tmpLog} 2>/dev/null
select concat('RESULTLINE#',now() - update_time,'#') message from dbadmin.ggs_monitor where ggs_process='${extname}';
EOF
sed -i '/RESULTLINE/!d' ${tmpLog}
resultLine=`cat ${tmpLog} | wc -l`
if [ $resultLine -ne 1 ]; then
    echo 3600
    exit
fi
echo `cat ${tmpLog} | cut -d "#" -f 2`
exit

ggsDelay.sh 
#!/bin/bash
if [ $# -ne 1 ]; then
    echo "Usage:$0 extname"
    exit
fi

extname=$1
rootPath=/etc/zabbix/script
tmpLog=$rootPath/tmpGgsDelay${extname}.log

mysql -u root -pmypwd < ${tmpLog} 2>/dev/null
select concat('RESULTLINE#',auto_time - update_time,'#') message from dbadmin.ggs_monitor where ggs_process='${extname}';
EOF
sed -i '/RESULTLINE/!d' ${tmpLog}
resultLine=`cat ${tmpLog} | wc -l`
if [ $resultLine -ne 1 ]; then
    echo 3600
    exit
fi
echo `cat ${tmpLog} | cut -d "#" -f 2`
exit

zabbix监控效果