FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式

Flinkcdc sql的方式同步PG数据库在之前已经详细介绍过,但是有一个问题就是每个表需要占用一个slot ,如果表比较多的情况用这种方法就不妥,于是我们开发了一套通用的PG数据库表同步工具。

关键点:通过简单配置实现表数据实时同步,DDL表结构同步功能。

完整的项目代码在我介绍完后放到git上 ,供大家参考纠正。

配置文件介绍:只需要一个配置文件可以实现多个库 多个表的实时同步,简单吧 !!

DDL 数据同步的原理是 创建一个触发器,当原表结构有变化时会将结构变化的语句保存到触发器创建的表中,再利用Flinkcdc的数据同步方法,把变化的sql语句在结果库创建一遍。

#pg数据库源库表配置信息
source_hostname=172.*******
source_port=65**
source_database=db_****test
# 模式列表,多个模式逗号隔开
source_schemaList=*****e,public
# 表列表,要加上模式名字,多个表用逗号隔开
source_tableList=public.hwdrs_ddl_info
source_username=s**
source_password=67*****
#源表跟目的表结构映射,=前面为源表,=后面为目标表,其中public.hwdrs_ddl_info表存放DDL变化语句
source_goal=public.hwdrs_ddl_info=public.hwdrs_ddl_info,b*****e.test=h****.test
#目标数据库配置信息
goal_username=p****
goal_pa

你可能感兴趣的:(大数据,大数据BI组件,数据库,postgresql,mysql)