flink CDC2.3.0修改源码升级debezium版本至1.9.7,详细步骤以及操作流程

flink cdc 2.3.0的debezium版本为1.6.4, 业务上有实时同步oracle数据到starrocks的需求,在测试使用flink cdc同步oracle数据的过程中,任务执行一段时间后,oracle侧的logminer会话内存占用不断上升,造成oracle内存占用严重,时间长了的话会造成oracle OOM的问题。

具体的flink CDC issues: https://github.com/ververica/flink-cdc-connectors/issues/815

该问题在flink CDC2.3.0中并没有得到解决,由于flinkCDC底层依赖了debezium, 所以该问题的根源出在debezium这里,查debezium的issues发现,在debezium 1.9.3的时候,debezium修复了这个bug, 并且增加了新的配置参数来解决这个问题,所以如果要在flinkCDC侧解决这个问题,只能通过对flinkCDC的源码进行升级,接下来就介绍一下详细的源码修改步骤。

好啦,废话少说,直接开始吧!

你可能感兴趣的:(flink实战系列,flink,oracle,数据库)