kafka系列-kafka多分区的情况下保证数据的有序性

场景 mysql的数据-->通过canal-->发送到kafka-->mysql、hive

在做canal集成kafka的时候,发现一个问题,多分区的情况下,跨分区的数据消费是无序的。

这时候就会出现问题,如果消费端消费的更新日志在插入日志之前,就会因为数据缺失导致异常(这样的情况随着并发出现的概率会增大),所以,需要保证新增的日志和更新的日志是有序的被消费。

kafka发送数据是支持指定分区的,这时候,只要把同一个表的同一个主键的数据发到同一个分区即可(如果多数据库得加入数据库名)

分区定义如下:

private int partitionDefine(String keyToPartition) {
	if (keyToPartition == null) {
		return new Random().nextInt(numPartitions);
	} else {
		return Math.abs(keyToPartition.hashCode()) % numPartitions;
	}
}
传入的参数 tableName+主键

这样,消费到的数据就是有序的。不同的场景灵活运用即可。

你可能感兴趣的:(kafka)