Kafka系列之:深入理解Kafka集群调优

Kafka系列之:深入理解Kafka集群调优

  • 一、Kafka硬件配置选择
  • 二、Kafka内存选择
  • 三、CPU选择
  • 四、网络选择
  • 五、生产者调优
  • 六、broker调优
  • 七、消费者调优
  • 八、Kafka总体调优

一、Kafka硬件配置选择

服务器台数选择:

  • 2 * (生产者峰值生产速率 * 副本数 / 100) + 1

磁盘选择:

  • Kafka按照顺序读写,机械硬盘和固态硬盘,顺序读写速度差不多

二、Kafka内存选择

  • Kafka内存 = 堆内存(kafka内部配置) + 页缓存(服务器内存)
  • 堆内存10~15G
jstat -gc 23465 1s 10
 S0C    S1C    S0U    S1U      EC       EU        OC    

你可能感兴趣的:(Kafka,Kafka系列,Kafka集群调优)