Kafka Source如何划分partition?

以下内容摘自Spark 2.3.1源码中KafkaSource注释

Kafka Source如何划分partition?_第1张图片
image.png

KafkaSourceOffset是为Kafka Source自定义的Offset,它包含一个TopicPartition->Offset的映射。注意,这个偏移量是1+(可用偏移量)。例如,如果Kafka topic “t”,partition 2中的最后一条记录是offset,则KafkaSourceOffset将包含TopicPartition("t", 2) -> 6.

你可能感兴趣的:(Kafka Source如何划分partition?)