flink的Oracle-cdc如何实现


标题: flink的Oracle-cdc如何实现
日期: 2021-08-08 14:33:39
标签: [flink, oracle]
分类: 实时数仓

今天来说说如何实时接入oracle的数据,官方没有提供oracle-cdc的connector,那么我们现在要自己写connector,且看下文。

flink的Oracle-cdc如何实现_第1张图片

且看阿里提供的数据接入connector有哪些:mysql-cdc postgres-cdc
官档在这里:
mysql-cdc
postgres-cdc
依赖:


  com.alibaba.ververica
  flink-connector-mysql-cdc
  1.1.0



  com.alibaba.ververica
  flink-connector-postgres-cdc
  1.1.0

使用方法:

-- creates a mysql cdc table source
CREATE TABLE mysql_binlog (
 id INT NOT NULL,
 name STRING,
 description STRING,
 weight DECIMAL(10,3)
) WITH (
 'connector' = 'mysql-cdc',
 'hostname' = 'localhost',
 'port' = '3306',
 'username' = 'flinkuser',
 'password' = 'flinkpw',
 'database-name' = 'inventory',
 'table-name' = 'products'
);

-- register a PostgreSQL table 'shipments' in Flink SQL
CREATE TABLE shipments (
  shipment_id INT,
  order_id INT,
  origin STRING,
  destination STRING,
  is_arrived BOOLEAN
) WITH (
  'connector' = 'postgres-cdc',
  'hostname' = 'localhost',
  'port' = '5432',
  'username' = 'postgres',
  'password' = 'postgres',
  'database-name' = 'postgres',
  'schema-name' = 'public',
  'table-name' = 'shipments'
);

-- read snapshot and binlogs from shipments table
SELECT * FROM shipments;

这样就直接将数据接入到flink了,剩下的就看你怎么操作flink了。

oracle怎么实时接入呢?

第一种方法 debezium connector

官方提供了一个debezium connector,它是干嘛的?
它是一个cdc工具,将关系型数据库的增删改数据实时获取到kafka中的,支持mysql、postgres、mongodb,当然oracle也支持,它支持大部分的关系型数据库,也支持非关系型数据库。
然后我们通过kafka connector的debezium-json格式化方式来接受debezium获取的实时数据,不就可以将增删改同步到hbase了么,完美。

依赖:


  org.apache.flink
  flink-avro-confluent-registry
  1.13.0



  org.apache.flink
  flink-json
  1.13.0


看代码:

CREATE TABLE topic_products (
  -- schema is totally the same to the MySQL "products" table
  id BIGINT,
  name STRING,
  description STRING,
  weight DECIMAL(10, 2)
) WITH (
 'connector' = 'kafka',
 'topic' = 'products_binlog',
 'properties.bootstrap.servers' = 'localhost:9092',
 'properties.group.id' = 'testGroup',
 -- using 'debezium-json' as the format to interpret Debezium JSON messages
 -- please use 'debezium-avro-confluent' if Debezium encodes messages in Avro format
 'format' = 'debezium-json'
)

第二种办法 自定义format

但是这种方式需要自己手动搭建一套debezium服务,配置oracle也是手动的,有没有像mysql-cdc一样的办法呢,直接一步到位。

办法是有的,我们知道oracle自带有实时数据获取工具,叫OGG,这个ogg能将oracle的增删改数据,实时同步到kafka,实现的结果跟debezium是一致的,但是比debezium简单,因为ogg是oracle自带的,你只需要配置相应的服务就行。
但是ogg到kafka的数据格式是一个json,这个json带有的数据增删改标识,跟flink changelog对应的增删改标识是不一样的,这样的话,flink就不能直接使用了,怎么办?

flink提供了自定义format接口,自己实现ogg format,将ogg kafka数据转换为flink能够认识的changelog 格式,这样就可以直接对接hbase connector,实现hbase的增删改,同步更新了。

关于如何实现ogg format,看官档给出的例子,我总是强调,没事就看官档,明了而且详细,比路边上的野文档强多了,而且实用。
这里举了一个changelog-csv format的例子,我们也可以自定义一个ogg format:
自定义changelog-csv format

这种方法比搭建debezium方法稍微简单,而且轻量级,不需要维护debezium了。

好了,今天就是这样的,官方的oracle-cdc正在测试中,相信在不久的将来就会出现了,大家敬请期待。

我是程序员Lee,欢迎关注我的博客,我在上海,可以互相交流。


每天进步一点点,我迟早会秃头。

欢迎关注我的微信公众号,比较喜欢分享知识,也喜欢宠物,所以做了这1个公众号:
程序员写书
喜欢宠物的朋友可以关注:看一只流浪狗的逆袭flink的Oracle-cdc如何实现_第2张图片

一起学习,一起进步。

你可能感兴趣的:(实时数仓,数据库,oracle,flink,大数据,数据仓库)