Kafka学习笔记: 如何估算 kafka集群规模

 

假设带宽是 1Gbps，即每秒处理 1Gb 的数据.

假设每台 Kafka 服务器都是安装在专属的机器上，也就是说每台 Kafka 机器上没有混布其他服务。

通常情况下你只能假设 Kafka 会用到 70% 的带宽资源，因为总要为其他应用或进程留一些资源。

根据实际使用经验，超过 70% 的阈值就有网络丢包的可能性了，故 70% 的设定是一个比较合理的值，

也就是说单台 Kafka 服务器最多也就能使用大约 700Mb 的带宽资源。

这是它能使用的最大带宽资源，你不能让 Kafka 服务器常规性使用这么多资源，

故通常要再额外预留出 2/3 的资源，即单台服务器使用带宽 700Mb / 3  ≈  240Mbps。

 

需要提示的是，这里的 2/3 其实是相当保守的，你可以结合你自己机器的使用情况酌情减少此值。

有了 240Mbps，我们就可以计算 1 小时内处理 1TB 数据所需的服务器数量了。

根据这个目标，我们每秒需要处理 2336Mb 的数据，除以 240，约等于 10 台服务器。

1024*1024/3600*8 = 2330Mb  [注意是小b]

如果消息还需要额外复制两份，那么总的服务器台数还要乘以 3，即 30 台。

 

补充:

千兆网卡的传输速率是1Gbps ,换算成 MB 为 125MB/s 
 

 

原文引用:

Kafka核心技术与实战 - 胡夕