Debezim系列之:分区路由使用哈希算法MurmurHash3获得更好的数据分区效果,支持多张表按照指定的字段分发数据到Kafka Topic,并保证多张表指定字段相同的值始终出现在相同分区

Debezim系列之:分区路由使用哈希算法MurmurHash3获得更好的数据分区效果,支持多张表按照指定的字段分发数据到Kafka Topic,并保证多张表指定字段相同的值始终出现在相同分区

  • 一、需求背景
  • 二、实现分区路由的详细步骤
  • 三、认识MurmurHash3
  • 四、核心参数详解
  • 五、核心配置详解
  • 六、创建表
  • 七、完整配置
  • 八、提交connector,插入数据
  • 九、消费Topic
  • 十、总结和延伸

一、需求背景

  • 分区路由支持更好的哈希算法MurmurHash3,从而在分区数比较少的情况下,依然能够很好的把数据分发到不同分区

二、实现分区路由的详细步骤

实现分区路由的技术可以参考博主下面这几篇技术文章:

  • Debezium系列之:使用分区路由指定表的字段,把指定字段具有相同值的增删改数据始终分发到Kafka Topic的相同分区

你可能感兴趣的:(debezium,Debezim系列,分区路由,哈希算法MurmurHash3,多张表指定字段相同的值,始终出现在相同分区)