使用 Kafka 如何保证顺序性

一、topic 只有单个分区（partition）

Kafka 本身是保证 partiton 中消息的顺序性的，所以单分区下不用特别考虑顺序性问题。

在比较特殊的消息重试情况下，假如消息1失败了，消息2、3会排到消息1前面。若想杜绝此情况，需要把 Kafka 的max.in.flight.requests.per.connection参数设置为 1

二、topic 具有多个 partition

如果消息分散在不同的 partition，Kafka 无法保证其顺序性。但只需要确保要求顺序性的若干消息发送到同一个 partiton，即可满足其顺序性。

解读 Kafka 源码可知，key相同的消息，会发送到同一个 partition，对应源码如下：

// org.apache.kafka.clients.producer.KafkaProducer#doSend
serializedKey = keySerializer.serialize(record.topic(), record.headers(), record.key());

int partition = partition(record, serializedKey, serializedValue, cluster);

// org/apache/kafka/clients/producer/KafkaProducer.java:1106
return partition != null ?
                partition :
                partitioner.partition(
                        record.topic(), record.key(), serializedKey, record.value(), serializedValue, cluster);

// org/apache/kafka/clients/producer/internals/DefaultPartitioner.java:69
// 下面的 keyBytes 即 serializedKey
return Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions;

另外，Kafka 的每一个 partition，不会同时被两个消费者实例消费，由此可以保证消息从出炉到处理的顺序性。

总结

1、max.in.flight.requests.per.connection参数设置为 1
2、要求保证顺序性的消息需要使用相同的key