ogg同步数据 mysql_Ogg - 从oracle到mysql的同步

说明：这篇文章将介绍如何配置oracle到mysql的ogg同步

源端：ip-192.168.56.11 数据库类型-oracle 11.2.0.4

目标端：ip-192.168.56.71 数据库类型-mysql 5.7.25

1. 解压并准备目录

(源端)

su - oracle

mkdir -p /home/oracle/ogg1/

tar -xvf fbo_ggs_Linux_x64_ora11g_64bit.tar -C /home/oracle/ogg1

(目标端)

su - mysql

mkdir -p /home/mysql/ogg2/

tar -xvf ggs_Linux_x64_MySQL_64bit.tar -C /home/mysql/ogg2

创建socket软链接，mysql ogg默认使用/tmp/mysql.sock

查看mysql socket的位置

(root@localhost)[(none)]> show variables like 'socket';

+---------------+-----------------------------+

| Variable_name | Value |

+---------------+-----------------------------+

| socket | /opt/mydata/data/mysql.sock |

+---------------+-----------------------------+

ln -s /opt/mydata/data/mysql.sock /tmp/mysql.sock

2. 创建目录，用户

(源端)

cd /home/oracle/ogg1

./ggsci

GGSCI> create subdirs

# 在sqlplus创建管理ogg需要的数据库用户ggs

SQL> create user ggs identified by ggs;

SQL> grant connect,resource,select any dictionary,select any table,alter any table,flashback any table to ggs;

SQL> grant insert any table,update any table,delete any table to ggs;

SQL> grant execute on dbms_flashback to ggs;

SQL> grant execute on utl_file to ggs;

# 授予用户查看数据字典的权力

# 同步的表在哪个用户下，哪个用户就要拥有查看数据字典的权力，源端使用tom做测试

SQL> create user tom identified by tom;

SQL> grant connect,resource,select any dictionary to tom;

# 打开追加日志数据模式

SQL> alter database add supplemental log data;

SQL> select supplemental_log_data_min from v$database; #须yes

(目标端)

cd /home/mysql/ogg2

./ggsci

GGSCI> create subdirs

# 在mysql创建管理ogg需要的数据库用户ggt

(root@localhost)[(none)]> create user ggt@'%' identified by 'ggt';

(root@localhost)[(none)]> grant all on *.* to ggt@'%';

(root@localhost)[(none)]> flush privileges;

3. 准备测试用的表

(源端)

# ogg的表必须有主键

SQL> create table tom.test1(id number primary key, name varchar2(30), ctime date);

(目标端)

(root@localhost)[(none)]> create database hello;

(root@localhost)[(none)]> use hello;

(root@localhost)[hello]> create table test2(id int primary key, name varchar(30), ctime datetime);

4. 配置define文件，异构的ogg需要这步

(源端)

GGSCI> edit params oracle_to_mysql

------------------------------------

defsfile dirdef/oracle_to_mysql.prm

userid ggs,password ggs

table tom.test1;

新开一个窗口

[root@orasingle ~]# su - oracle

[oracle@orasingle ~]$ cd ogg1

[oracle@orasingle ogg1]$ ./defgen paramfile dirprm/oracle_to_mysql.prm

[oracle@orasingle ogg1]$ scp dirdef/oracle_to_mysql.prm [email protected]:/home/mysql/ogg2/dirdef

5. 添加需要同步的表

(源端)

# 这里是添加表的附加日志

GGSCI> dblogin userid ggs, password ggs

GGSCI> add trandata tom.test1

GGSCI> info trandata tom.test1

6. 添加checkpoint表

(目标端)

# 续传的功能

GGSCI> dblogin sourcedb hello, userid ggt, password ggt

GGSCI> edit params ./GLOBALS

#或使用vi编辑参数文件，注意GLOBALS是在ogg的主目录下面，使用绝对路径或者./GLOBALS，不能使用edit params GlOBALS，否则会进到dirprm目录下面

--------------------------------------------------------------------------

checkpointtable hello.checkpoint

GGSCI> view params ./GLOBALS #查看参数文件

GGSCI> add checkpointtable hello.checkpoint #在数据库中创建检查点记录表

GGSCI> info checkpointtable hello.checkpoint

7. 配置管理进程的参数文件

(源端)

GGSCI> edit params mgr

--------------------------------------------------------------------

port 7788

autorestart extract *,waitminutes 2,retries 5

purgeoldextracts /home/oracle/ogg1/dirdat/*,usecheckpoints,minkeephours 1,frequencyminutes 30

GGSCI> view params mgr

(目标端)

GGSCI> edit params mgr

--------------------------------------------------------------------

port 7788

autorestart extract *,waitminutes 2,retries 5

purgeoldextracts /home/mysql/ogg2/dirdat/*,usecheckpoints,minkeephours 1,frequencyminutes 30

GGSCI> view params mgr

# 参数解释autorestart-自动重启抽取进程，purgeoldextracts-定期清理trail文件

8. 配置抽取进程

(源端)

8.1 编辑抽取参数文件

GGSCI> edit params ext1

-------------------------------------------------------------------------------------------

extract ext1

setenv(ORACLE_SID=orcl) #填源端的sid

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK) #填源端的字符集

userid ggs,password ggs

rmthost 192.168.56.11,mgrport 7788 #填源端的ip,抽取的文件放到哪个地方

exttrail /home/oracle/ogg1/dirdat/et

table tom.test1;

8.2 添加抽取进程

GGSCI> add extract ext1, tranlog, begin now

8.3 添加抽取进程需要的文件

GGSCI> add exttrail /home/oracle/ogg1/dirdat/et,extract ext1,megabytes 100 #设置trail文件最大100m，默认10m

9. 配置投递进程

(源端)

9.1 编辑投递参数文件

GGSCI> edit params pump1

------------------------------------------------------------------------

extract pump1

PASSTHRU #这是参数适用于源端和目标端表结构一致且没有过滤行

RMTHOST 192.168.56.71, MGRPORT 7788 #目标端ip

RMTTRAIL /home/mysql/ogg2/dirdat/p1 #目标端文件的目录

TABLE tom.test1;

9.2 添加投递进程

GGSCI> add extract pump1,exttrailsource /home/oracle/ogg1/dirdat/et, begin now

9.3 添加投递到远程的文件

GGSCI> add rmttrail /home/mysql/ogg2/dirdat/p1, extract pump1,megabytes 100

10. 配置复制进程

(目标端)

10.1 编辑复制参数文件

GGSCI> edit params rep1

-----------------------------------------------------------------

replicat rep1

sourcecharset ZHS16GBK #填源端的字符集

targetdb hello, userid ggt, password ggt

sourcedefs /home/mysql/ogg2/dirdef/oracle_to_mysql.prm

discardfile /home/mysql/ogg2/dirdat/rep1.dsc,append

MAP tom.test1, TARGET hello.test2;

--------------------------------------------------------------------

10.2 增加复制进程

GGSCI> add replicat rep1,exttrail /home/mysql/ogg2/dirdat/p1

#注意这一步可能提示下面错误

ERROR: No checkpoint table specified for ADD REPLICAT.

解决办法：退出重新登陆，再执行那步操作

GGSCI> exit

[mysql@mysqla ogg2]$ ./ggsci

GGSCI> dblogin sourcedb hello, userid ggt, password ggt

GGSCI> add replicat rep1,exttrail /home/mysql/ogg2/dirdat/p1

11. 启动进程

源端

GGSCI> start mgr

GGSCI> start ext1

GGSCI> start pump1

目标端

GGSCI> start mgr

GGSCI> start rep1

在源端查看进程状态

GGSCI> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT RUNNING EXT1 00:00:00 00:00:09

EXTRACT RUNNING PUMP1 00:00:00 00:00:02

在目标端查看进程状态

GGSCI> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

REPLICAT RUNNING REP1 00:00:00 00:00:04

12. 测试同步与否

(源端)

SQL> insert into test1 values(25,'小豹子加油',sysdate);

SQL> commit；

(目标端)

(root@localhost)[hello]> select * from test2;

+----+-----------------+---------------------+

| id | name | ctime |

+----+-----------------+---------------------+

| 25 | 小豹子加油 | 2019-04-21 11:44:06 |

+----+-----------------+---------------------+

同步完成，中文显示也没有问题

13. 记录报错的日志文件

/home/oracle/ogg/ggserr.log

14. 总结

14.1从ogg到mysql有字段类型的变化，比如oracle中date类型就是“年月日 时分秒”类型，到了mysql中只有“年月日”，所以mysql中需要定义成datetime类型。还有mysql中字符类型是默认不区分大小写的，oracle中明确区分大小写，所以在同步时如果字符类型上面有唯一索引，还会报错。

14.2异构的ogg比同构的ogg还需要define文件，定义表的结构。