spark.streaming.kafka.maxRatePerPartition

spark.streaming.kafka.maxRatePerPartition计算规则2018年08月03日 11:59:11 genius0182 阅读数:2258spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的,一般和spark.streaming.backpressure.enabled=true一起使用。那么应该怎么算这个值呢。如例要10分钟的吞吐量控制在5000,0000,kafka分区是10个。spark.streaming.kafka.maxRatePerPartition=8400这个值是怎么算的呢。如下是公式spark.streaming.kafka.maxRatePerPartition的值 * kafka分区数 * (10 *60)(每秒时间) 



非原创:来源=》https://blog.csdn.net/genius0182/article/details/81385096

你可能感兴趣的:(spark.streaming.kafka.maxRatePerPartition)