LogStash多实例并行消费kafka

启动多个logstash并行消费kafka数据。

1.设置相同topic

2.设置相同groupid

3.设置不同clientid

4.input 的这个参数 consumer_threads => 10 多实列相加最好等于 topic分区数

如果一个logstash得参数大于topic,则topic数据都会被这个logstash消费掉

logstash_1

LogStash多实例并行消费kafka_第1张图片

logstash_2

你可能感兴趣的:(LogStash)