kafka监听topic消费_CDC场景下Kafka动态topic消费方式

场景介绍

??公司需要做一个mysql同步到Pgsql的数据同步,采用Debezium结合kafka connect读取mysql的binlog同步到Kafka,然后需要消费kafka的消息,生成DDL和DML,插入到Pgsql

kafka相关问题

topic动态;

?? Debezium+kafka connect 会动态生成topic,一个表一个topic,因为实际生产中,会存在表新建的情况,会动态添加一个新的topic需要消费,这也是这篇文章主要想要解决的问题

顺序保证

?? 因为读取的是mysql的binlog,需要按照这个顺序去消费,所以每个topic只有一个partition,消费的时候我们需要考虑效率问题。

其他问题和kafka无关,不做说明

解决方案

topic动态问题,

在我的业务场景中,虽然topic是动态的,但是topic是有规则的,比如topic的规则都是 【服务名.数据库名称.表名】

如:test1.dbname1.t_test

刚刚开始想着直接使用@KafkaListener的topicPattern属性,配置上正则去解决,但是会导致另外一个问题,使用该方式或导致这个消费者匹配到的所有符合规则的topic,比如此处的正则可以配置为:【test1.dbname1.*】。然后因为每个topic只有一个partition,单线程消费性能低下,线上的数据量太大,消费一个大的topic时其他topic无法消费。

(如果topic有多个分区,可以开启concurre

你可能感兴趣的:(kafka监听topic消费)