Debezium系列之:多张表按照指定的字段分发数据到Kafka Topic,并保证多张表指定字段相同的值始终出现在相同分区

Debezium系列之:多张表按照指定的字段分发数据到Kafka Topic,并保证多张表指定字段相同的值始终出现在相同分区

  • 一、需求背景
  • 二、相关实现技术
  • 三、创建表
  • 四、提交debezium connector和参数详解
  • 五、插入数据
  • 六、查看connector状态和Topic
  • 七、消费Topic数据
  • 八、总结

一、需求背景

  • 根据productInfo和productorder两张表的productId分发数据,相同productId的数据始终出现在相同分区,并且希望两张表相同的订单数据也始终出现在相同分区。
  • 例如关于productInfo表1206827245738502144这个订单的增删改数据始终出现在分区2,那productorder这个表1206827245738502144这个订单的增删改数据也始终出现在分区2。

二、相关实现技术

按照指定字段分发数据详细实现细节可以参考博主下面两篇技术博客:

  • Debezium系列之:同一张表的数据始终进入Kafka Topic的相同分区,

你可能感兴趣的:(debezium,Debezium系列,指定的字段,分发数据,相同的值始终出现在相同分区)