GoldenGate For BigData 安装方法

1.1 总体说明

Goldengate软件目录的属主为oracle:dba，权限为775;

1.2 添加环境变量

在oracle用户下增加环境变量：
源端：
export GG_HOME=/data/oggo
export PATH=$PATH:$GG_HOME
export LIBPATH=$GG_HOME:$ORACLE_HOME/lib
目标端bigdata：要求必须jdk1.7
export GG_HOME=/data/oggt
export PATH=$PATH:$GG_HOME
export 
LD_LIBRARY_PATH=$GG_HOME:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/jre/lib/amd64/server


Platform Environment variable
IBM AIX LIBPATH
HP-UX SHLIB_PATH
Sun Solaris LD_LIBRARY_PATH
HP Tru64 (OSF/1)
LINUX




1.3 GG软件的安装（源和目标系统均需要安装）
1) 使用Oracle用户（如非此用户，请自行取代，下同）通过ftp上传GGS软件到安装目录下并解压缩：
Unzip fbo_ggs_Linux_x64_shiphome.zip 
修改参数文件： 
Cd fbo_ggs_Linux_x64_shiphome/Disk1/response  
执行vi oggcore.rsp修改一下参数：
INSTALL_OPTION=ORA11g
SOFTWARE_LOCATION=/data/oggo
DATABASE_LOCATION=/usr/lib/oracle/u01/app/oracle
执行runInstaller开始安装：
./runInstaller -silent -nowait -responseFile /data/oggo/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp


2) 在/goldengate目录下运行GGS命令行控制界面：
./ggsci
3) 在GGS命令行界面下创建子目录：
GGSCI> create subdirs
 


1.4 开启源端数据库附加日志
1）检查附加日志情况
使用以下sql语句检查数据库附加日志的打开状况:
Select
SUPPLEMENTAL_LOG_DATA_MIN
,SUPPLEMENTAL_LOG_DATA_PK
,SUPPLEMENTAL_LOG_DATA_UI
,SUPPLEMENTAL_LOG_DATA_FK
,SUPPLEMENTAL_LOG_DATA_ALL
, FORCE_LOGGING from v$database;
2）打开数据库附加日志
打开附加日志并切换日志（保证Online redo log和Archive log一致）
在mount状态下打开归档日志：
Alter database archivelog;


alter database add supplemental log data ;
或全部打开：
alter database add supplemental log data(primary key,unique) columns;
alter database force logging;


3）创建Goldengate用户
create tablespace ogg datafile ‘/data/oradata/orcl/ogg.dbf’ size 1G;
create user ogg identified by ogg default tablespace ogg;


GRANT execute on  DBMS_SQL to ogg;
grant EXEMPT ACCESS POLICY to ogg;
grant create table to ogg;
grant create sequence to ogg;
alter user ogg quota unlimited on ogg;
GRANT CONNECT        TO ogg;
GRANT RESOURCE       TO ogg;
GRANT DBA            TO ogg;
GRANT CREATE SESSION TO ogg;
GRANT ALTER SESSION  TO ogg;
GRANT SELECT ANY DICTIONARY TO ogg;
GRANT SELECT ANY TABLE      TO ogg;
GRANT FLASHBACK ANY TABLE   TO ogg;
GRANT ALTER ANY TABLE       TO ogg;
GRANT ALTER SYSTEM  TO ogg;
GRANT SELECT on dba_clusters TO ogg;
GRANT EXECUTE ON utl_file TO ogg;
BEGIN
DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE(
Grantee                 => 'OGG',
privilege_type          => 'CAPTURE', 
grant_select_privileges => TRUE, 
do_grants               => TRUE);
END;
/




4)打开表级附加日志
alter table ogg.test add supplemental log data(all) columns;
alter table SMODEL_JLJ.CM_PORT add supplemental log data(all) columns;
alter table SMODEL_JLJ.CM_LINK add supplemental log data(all) columns;




1.5 数据库11.2.0.4版本参数修改
从数据库11.2.0.4版本开始，需要在源和目标端数据库上同时修改ENABLE_GOLDENGATE_REPLICATION参数：
sqlplus / as sysdba
alter system set ENABLE_GOLDENGATE_REPLICATION=true scope=both;
1.6 配置GLOBALS
编辑GLOBALS：
EDIT PARAMS ./GLOBALS
GGSCHEMA ogg
1.7 配置定义文件
./ggsci




1.8 建立OGG进程和队列
（1） MGR参数和进程（源和目标均需要配置）
cd $GG_HOME
./ggsci
ggsci>edit param mgr     --源端
PORT 7809
DYNAMICPORTLIST 7840-7914
--AUTORESTART EXTRACT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60
PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45




ggsci>edit param mgr     --目标端
PORT 17809
DYNAMICPORTLIST 17810-17820
--AUTORESTART REPLICAT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60
PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45


配置完成后，源和目标均启动：
ggsci> start mgr


（2） 源端配置extract和pump进程（根据用户实际环境填写）
配置服务器A捕获进程
cd $GG_HOME
./ggsci
ggsci>edit param ext_jl
具体ext_jl.prm内容如下：
EXTRACT ext_jl
SETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
USERID ogg, PASSWORD ogg
DISCARDFILE ./dirrpt/ext_jl.dsc, APPEND, MEGABYTES 100
TRANLOGOPTIONS dblogreader
DBOPTIONS  ALLOWUNUSEDCOLUMN
WARNLONGTRANS 2h,CHECKINTERVAL 3m
FETCHOPTIONS NOUSESNAPSHOT
TRANLOGOPTIONS  CONVERTUCS2CLOBS
--ddl include mapped
EXTTRAIL ./dirdat/jl
--TRANLOGOPTIONS ALTARCHIVELOGDEST PRIMARY INSTANCE oraXPAD1 /gg/sarch1, ALTARCHIVELOGDEST INSTANCE oraXPAD2 /gg/sarch2
WILDCARDRESOLVE DYNAMIC
dynamicresolution
GETUPDATEBEFORES
NOCOMPRESSUPDATES
NOCOMPRESSDELETES
gettruncates
TABLE SMODEL_JLJ.*, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));
TABLE gg.tcustmer, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));
配置传输进程
cd $GG_HOME
./ggsci
ggsci>edit param dpe_jl
具体dpe_jl.prm内容如下：
EXTRACT dpe_jl
PASSTHRU
RMTHOST 10.142.96.16, MGRPORT 17809
RMTTRAIL ./dirdat/jl
DYNAMICRESOLUTION
GETTRUNCATES
TABLE SMODEL_JLJ.*;
table gg.tcustmer;


增加ext和pump进程以及队列：
cd $GG_HOME
./ggsci
ADD EXTRACT ext_jl, TRANLOG, BEGIN NOW
ADD EXTTRAIL ./dirdat/jl, EXTRACT ext_jl, MEGABYTES 200
ADD EXTRACT dpe_jl, EXTTRAILSOURCE ./dirdat/jl
ADD RMTTRAIL ./dirdat/jl, EXTRACT dpe_jl, MEGABYTES 200






（3） 配置hdfs投递进程
创建hdfs目录：
su – hjpt    
hadoop fs –mkdir /data/hjpt/itf/hqit/oss/jl
hadoop fs –ls /data/hjpt/itf/hqit/oss/jl
hadoop fs -chmod -R +w /data/hjpt/itf/hqit/oss/oss/jl


设置HDFS_HOME环境变量
./ggsci
ggsci>edit param hive_jl
具体 hive_jl.prm内容如下：
REPLICAT hive_jl
TARGETDB LIBFILE libggjava.so SET property=dirprm/hdfs_jl.props
GETUPDATEBEFORES
gettruncates
DISCARDFILE ./dirrpt/ hive_jl.dsc, purge
REPORTCOUNT EVERY 1 MINUTES, RATE
GROUPTRANSOPS 2000
MAXTRANSOPS 5000
MAP gg.*, TARGET gg.*;
MAP SMODEL_JLJ.*, TARGET SMODEL_JLJ.*;
配置hdfs_jl.props内容如下：


gg.handlerlist=hdfs
gg.handler.hdfs.type=hdfs
gg.handler.hdfs.includeTokens=true
gg.handler.hdfs.maxFileSize=256m
gg.handler.hdfs.rootFilePath=/data/hjpt/itf/hqit/oss/jl
gg.handler.hdfs.fileRollInterval=0
gg.handler.hdfs.inactivityRollInterval=0
gg.handler.hdfs.fileSuffix=.txt
gg.handler.hdfs.partitionByTable=true
gg.handler.hdfs.rollOnMetadataChange=true
gg.handler.hdfs.authType=none
gg.handler.hdfs.format=delimitedtext
gg.handler.hdfs.format.includeColumnNames=false
gg.handler.hdfs.mode=tx
# 
gg.handler.hdfs.format.includeOpTimestamp=true
gg.handler.hdfs.format.includeCurrentTimestamp=true
gg.handler.hdfs.format.insertOpKey=I
gg.handler.hdfs.format.updateOpKey=U
gg.handler.hdfs.format.deleteOpKey=D
gg.handler.hdfs.format.truncateOpKey=T
gg.handler.hdfs.format.encoding=UTF-8
gg.handler.hdfs.format.fieldDelimiter=CDATA[\u0001]
#gg.handler.hdfs.format.fieldDelimiter='|'
gg.handler.hdfs.format.lineDelimiter=CDATA[\n]
gg.handler.hdfs.format.includeTableName=true
gg.handler.hdfs.format.keyValueDelimiter=CDATA[=]
#gg.handler.hdfs.format.kevValuePairDelimiter=CDATA[,]
gg.handler.hdfs.format.pkUpdateHandling=update
gg.handler.hdfs.format.nullValueRepresentation=
gg.handler.hdfs.format.missingValueRepresentation=CDATA[]
gg.handler.hdfs.format.includePosition=false
# 
goldengate.userexit.timestamp=utc
goldengate.userexit.writers=javawriter
javawriter.stats.display=TRUE
javawriter.stats.full=TRUE
gg.log=log4j
gg.log.level=INFO
gg.report.time=30sec
gg.classpath=/etc/hadoop/conf.empty:/usr/lib/hadoop/*:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop-hdfs/*:/usr/lib/hadoop/lib/*
javawriter.bootoptions=-Xmx8200m –Xms8192m -Djava.class.path=ggjava/ggjava.jar




增加目标端hive投递进程：
cd $GG_HOME
./ggsci
GGSCI> add replicat hive_jl, EXTTRAIL ./dirdat/jl