debezium系列之:理解database.server.name和database.history.kafka.topic

debezium系列之:理解database.server.name和database.history.kafka.topic


debezium捕获数据库表结构更改事件,并把这些事件写入到kafka名称为database.server.name的topic中。

topic消息包括:

  • ddl:提供导致架构更改的 SQL CREATE、ALTER 或 DROP 语句。
  • databaseName:应用 DDL 语句的数据库的名称。 databaseName 的值用作消息键。
  • pos:语句出现在 binlog 中的位置。
  • tableChanges:整个表架构的结构化表示。 ableChanges 字段包含一个数组,其中包含表中每一列的条目。

注意:

  • Connector不仅将表更改的历史记录存储在database.server.name中,还会存储在database.history.kafka.topic中。只供connector使用,不供消费应用程序直接使用。应用程序需要表结构变化可直接使用database.server.name的topic。
  • database.history.kafka.topic不能分区,为了使数据库历史主题正确运行,必须保持连接器向其发出事件记录的一致的全局顺序。手动创建将database.history.kafka.topic分区设置为1,自动创建设置num.partitions值为1。

以创建表为例:


你可能感兴趣的:(debezium,debezium系列,server.name,history,kafka.topic)