生产环境评估机器

        学习了kafka的原理知识后，还要学会如何评估生产环境集群，如果是一个大数据架构师，这个是必须要会的，比如kafka集群、Hbase集群、hadoop集群，评估集群的方式差不多，现在以kafka为例。

        电商平台，需要支持每天10亿请求发送到kafka集群。采用二八原则，一般评估出来问题都不大。10亿请求->24小时过来的，一般情况下，每天晚上12:00到早上8:00这段时间其实是没有多大数据量的，80%的请求是用的另外16个小时处理的。

qps评估：

        16个小时处理->8亿请求

        16*0.2=3个小时处理->8亿请求的80%的数据=6亿

        也就是说3个小时处理6亿数据

        我们简单算一下高峰期的qps：

                6亿/3小时=5.5万/s   qps=5.5万

数据量评估：

        10亿请求*50kb（假设消息大小）=46T，每天要存储46T数据

        一般情况下，我们都会设置两个副本 46T*2=92T

        kafka里面的数据是有保存的时间周期的，假设保留最近3天的数据

        92T * 3天 = 276T

磁盘评估：

        场景总结：搞定10亿请求，高峰期5.5万的qps，276T的数据，需要5台物理机。

1）使用SSD固态硬盘？还是普通的机械硬盘？

        SSD硬盘：性能比较好，但是价格贵

        SAS盘：某方面性能不是很好，但是比较便宜

        SSD硬盘性能比较好，指的是它随机读写的性能比较好。适合MySQL这样的集群，但是其实它顺序写的性能跟SAS盘差不多。

        kafka的理解：就是用的顺序写，所以用普通的机械硬盘就可以了。

2）评估每台服务器需要多少块磁盘

from 洱海老师

源码：01-源码阅读准备之基础知识准备_哔哩哔哩_bilibili

深入浅出：Kafka 深入浅出_哔哩哔哩_bilibili