kafka生产环境搭建之需求场景分析

[TOC]

12-kafka生产环境搭建之需求场景分析

评估afka集群（其他集群评估方法类似）

image

13-kafka生产环境搭建之物理机数量的评估

评估Kafka集群需要多少物理机
Kafka Mysql hadoop 需要物理机（性能好）

image

14-kafka生产环境搭建之磁盘选择

1. SSD还是SAS(普通)？
   SSD：性能好，价格高
   SAS：性能一般，价格低
   SSD随机读写性能好，适合MySQL，顺序写跟SAS差不多
   所以选择SAS
2. 每台服务器几块硬盘
   日志里276T，那么5台，每台就是60T
   准备的容量是 60/0.8 = 75T
   一般每块5-10T？那就是 7.5-15块硬盘

15-kafka生产环境之内存评估

1. 内存尽量给 os cache
2. JVM 也要占内存
   kafka在JVM中的数据不是很多，一般几个G就可以了（最多10G就行了）

image

16-kafka生产环境搭建之cpu压力评估

评估CPU就是看看有多少个线程
CPU core =4：最多几十个
CPU core =8：最多不到100
CPU core =16：100来个
CPU core =32：200来个

Accptor 线程：1
Processor 线程: 默认：3；最好是：6或9
RequestHanderPool 线程：默认：8 ；最好是：16或32
定时清理日志线程
ISR线程
同步副本数据
1+9+32=42 再加点其他的线程 Kafka 大概有100多个线程，至少要有 16 core，32core更好。

17-kafka生产环境搭建之网络需求评估

一般就是千兆（1G/s）万兆(10G/s)
网卡一般到不了极限，一般也就70%-80%。

image

所以使用千兆网卡也还行，高峰期可能会有些压力，用万兆绝对没问题