Debezium的三种部署方式

Debezium如何部署

debezium 有下面三种部署方式,其中最常用的就是 kafka connect。

kafka connect

一般情况下,我们通过 kafka connect 来部署 debezium,kafka connect 是一个框架和运行时:

  • source connectors:像 debezium 这样将记录发送到 kafka 的source connector
  • sink connectors:将记录从 kafka topic传播到其他系统的 sink connector

下图展示了一个基于 debezium 的 CDC pipeline 的架构,这里 debezium 作为一个 kafka connect 的一种 source connector。

Debezium的三种部署方式_第1张图片

如图所示,debezium mysql 连接器用来捕获对 mysql 数据库的更改,debezium postgreSQL 连接器用来捕获对于 postgres 数据库的更改。

每个 debezium 连接器都会建立一个到源数据库的连接:

  • mysql连接器使用一个客户端库来访问 binlog;
  • postgres 连接器从逻辑复制流中读取数据。

默认情况下,一个数据库表的更改被写入一个 Kafka topic,当然也可以通过topic 重路由将更改写入到指定的 topic,或者将多个数据库表的更改写入到同一个 topic。

而Kafka Connect作为K

你可能感兴趣的:(debezium通关,debezium,部署,CDC)