4.3 高级特性(3) -- 过滤

Map HR.EMPLOYEES, Target HR.STAFF, 

COLMAP (USEDEFAULTS, 

WAGES = @COMPUTE(SALARY * 12));

 

1. 过滤表

(1) 使用通配符*，复制用户下所有的表

在extract参数文件中

Table HR.*;

在远程replicate参数文件中

Map HR.*, Target HR.* ; 

(2) 过滤表

extract参数文件

Table HR.EMPLOYEES; 

Table HR.JOBS;

replicate参数文件

Map HR.EMPLOYEES, Target HR.EMPLOYEES ; 

Map HR.JOBS, Target HR.JOBS  

2 过滤列

extract参数文件

Table HR.EMPLOYEES 

COLS (employee_Id, first_name, last_name); 

上面只复制COLS指定的列，目标端表不做限制，只要存在这几列即可，并且不违反约束

如果过滤条件写在投递进程的参数文件中，则不再使用PassThru模式

或者下面的写法

Table HR.EMPLOYEES 

COLSEXCEPT (email); 

复制处email以外的所有列

3. 过滤行

(1)使用where子句

extract参数：

Table HR.EMPLOYEES, 

WHERE (EMPLOYEE_ID < 100);

 

只复制employee_id小于100的数据

在replicate参数中加入

Map HR.EMPLOYEES, Target HR.EMPLOYEES, 

WHERE (JOB_ID = "IT_PROG");              ----注意：双引号

 

在replicat的时候进一步过滤，只装载JOB_ID="IT_PROG"的数据

(2)使用FILTER参数

在ext或者rep参数中加入

Table HR.EMPLOYEES, 

FILTER (SALARY / 12 < 1000); 

 

或者

Map HR.EMPLOYEES, Target HR.EMPLOYEES, 

FILTER (SALARY / 12 > 1000);

 

上面只抽取或者装载月薪资大于1000 的数据

(3)在进行delete操作的时候，只删除月薪小于1000的记录

Table HR.EMPLOYEES, 

FILTER (ON DELETE, SALARY / 12 < 1000); 

(4)如果源段和目标端的表名和字段名不同

在replicate参数中加入

Map HR.EMPLOYEES, Target HR.STAFF, 

COLMAP (USEDEFAULTS, 

WAGES = SALARY); 

 

说明：在replicate参数中使用ASSUMETARGETDEFS说明源段和目标端的表都一致。如果源段的表名为：EMPLOYEES 目标端的表名为：STAFF. 

目标端表结构如下:

Table STAFF 

Name Null? Type 

----------------------------------------- -------- ---------------------------- 

EMPLOYEE_ID (PK) 　　　　　　　　　　　　　　　NOT NULL　　 NUMBER(6) 

FIRST_NAME  　　　　　　　　　　　　　　　　　　　　　　　　  VARCHAR2(20) 

LAST_NAME 　　　　　　　　　　　　　　　　　　  NOT NULL    VARCHAR2(25) 

FULL_NAME　　　　　　　　　　　　　　　　　　　 NOT NULL    VARCHAR2(46) 

EMAIL 　　　　　　　　　　　　　　　　　　　　　　NOT NULL   VARCHAR2(25) 

PHONE_NUMBER　　　　　　　　　　　　　　　　　　　　　　　　  VARCHAR2(20) 

HIRE_DATE 　　　　　　　　　　　　　　　　　　　NOT NULL    DATE 

JOB_ID 　　　　　　　　　　　　　　　　　　　　 NOT NULL    VARCHAR2(10) 

WAGES　　　　　　　　　　　　　　　　　　　　　　　　　　　　　NUMBER(8,2)       ----源段字段名为：SALARY

COMMISSION_PCT　　　　　　　　　　　　　　　　　　　　　　　  NUMBER(2,2) 

MANAGER_ID　　　　　　　　　　　　　　　　　　　　　　　　　　 NUMBER(6) 

DEPARTMENT_ID 　　　　　　　　　　　　　　　　　　　　　　　　NUMBER(4) 

 

 下一步，因为Source端和target端的表不一样，所以需要生成数据定义文件

源段编辑

GGSCI (db11) 2> edit param defgen





defsfile ./dirdef/RHREMD1.defs

USERID ogg, PASSWORD ogg

TABLE HR.*; 

 

执行命令：

db11@db11  /home/oracle/ogg$ ./defgen paramfile dirprm/defgen.prm ***********************************************************************

        Oracle GoldenGate Table Definition Generator for Oracle

      Version 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230

   Linux, x64, 64bit (optimized), Oracle 11g on Apr 23 2012 05:08:19

 

Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.





                    Starting at 2014-10-06 22:08:47

***********************************************************************



Operating System Version:

Linux

Version #1 SMP Fri Jan 27 17:17:51 EST 2012, Release 2.6.18-308.el5

Node: db11

Machine: x86_64

                         soft limit   hard limit

Address Space Size   :    unlimited    unlimited

Heap Size            :    unlimited    unlimited

File Size            :    unlimited    unlimited

CPU Time             :    unlimited    unlimited



Process id: 27974



***********************************************************************

**            Running with the following parameters                  **

***********************************************************************

defsfile ./dirdef/RHREMD1.defs

USERID ogg, PASSWORD ***

TABLE HR.*;

Expanding wildcard HR.*:



Retrieving definition for HR.COUNTRIES

Retrieving definition for HR.DEPARTMENTS

Retrieving definition for HR.EMPLOYEES

Retrieving definition for HR.JOBS

Retrieving definition for HR.JOB_HISTORY

Retrieving definition for HR.LOCATIONS

Retrieving definition for HR.REGIONS

Retrieving definition for HR.T



2014-10-06 22:09:11  WARNING OGG-00869  No unique key is defined for table 'T'. All viable columns will be used to represent the key, but may not guarantee uniqueness.  KEYCOLS may be used to define the key.







Definitions generated for 8 tables in ./dirdef/RHREMD1.defs

 

把def文件发送到目标端的dirdef目录下

db11@db11  /home/oracle/ogg$ scp ./dirdef/RHREMD1.defs oracle@192.168.1.3:/home/oracle/ogg/dirdef

 

最后tell ogg使用defgen文件，rep参数中添加

SourceDefs ./dirdef/RHREMD1.defs

 

注释掉

--AssumeTargetDefs

 

启动进程！

（5）接上面。使用函数

在源段的SALARY为月薪，而目标端WAGES为年薪，在这里需要使用COMPUTE转换

Map HR.EMPLOYEES, Target HR.STAFF, 

COLMAP (USEDEFAULTS, 

WAGES = @COMPUTE(SALARY * 12));

上面使用函数COMPUTE月薪*12得到年薪

还有在目标端FULL_NAME为FIRST_NAME和LAST_NAME组成，使用函数STRCAT进行连接

Map HR.EMPLOYEES, Target HR.STAFF, 

COLMAP (USEDEFAULTS, 

WAGES = @COMPUTE(SALARY * 12) 

FULL_NAME = @STRCAT(LAST_NAME,",",FIRST_NAME)); 

测试，在目标端的测试结果为：

SQL> l

  1* select first_name,last_name,full_name,employee_id,wages from t1 where employee_id=197

SQL> /



FIRST_NAME           LAST_NAME                 FULL_NAME                                          EMPLOYEE_ID      WAGES

-------------------- ------------------------- -------------------------------------------------- ----------- ----------

Kevin                Feeney                    Feeney,Kevin                                               197      36000

Kevin                Feeney                                                                               197       3000

 

函数说明！