Flink1.11中的CDC Connectors操作实践

Flink1.11引入了CDC的connector,通过这种方式可以很方便地捕获变化的数据,大大简化了数据处理的流程。Flink1.11的CDC connector主要包括:MySQL CDCPostgres CDC,同时对Kafka的Connector支持canal-jsondebezium-json以及changelog-json的format。本文主要分享以下内容:

  • CDC简介

  • Flink提供的 table format

  • 使用过程中的注意点

  • mysql-cdc的操作实践

  • canal-json的操作实践

  • changelog-json的操作实践

简介

Flink CDC Connector 是ApacheFlink的一组数据源连接器,使用变化数据捕获change data capture (CDC)从不同的数据库中提取变更数据。Flink CDC连接器将Debezium集成为引擎来捕获数据变更。因此,它可以充分利用Debezium的功能。

特点

  • 支持读取数据库快照,并且能够持续读取数据库的变更日志,即使发生故障,也支持exactly-once 的处理语义

  • 对于DataStream API的CDC connector,用户无需部署Debezium和Kafka,即可在单个作业中使用多个数据库和表上的变更数据。

  • 对于Table/SQL API 的CDC connector,用户可以使用SQL DDL创建CDC数据源࿰

你可能感兴趣的:(Flink系统性学习专栏,kafka,数据库,big,data)