Kafka 如何保证消息的有序性?

前言

本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

正文

方案一

kafka topic 只设置一个 partition 分区

说明

kafka默认保证同一个partition分区内的消息是有序的,则可以设置topic只使用一个分区,这样消息就是全局有序,缺点是只能被consumer group里的一个消费者消费,降低了性能,不适用高并发的情况

方案二

producer将消息发送到指定partition分区

说明

既然kafka默认保证同一个partition分区内的消息是有序的,则producer可以在发送消息时可以指定需要保证顺序的几条消息发送到同一个分区,这样消费者消费时,消息就是有序。

但是个时候还有个问题就是消息重试的时候会让消息顺序打乱,所以还需要设置这个参数:
max.in.flight.requests.per.connection 默认值5,设置为1

你可能感兴趣的:(大数据技术体系,大数据,kafka)