##大数据系列(1)——Hadoop集群坏境搭建配置

大数据系列(1)——Hadoop集群坏境搭建配置 - 指尖流淌 - 博客园 http://www.cnblogs.com/zhijianliutang/p/5731002.html

数据量的大小决定了集群整体的存储大小,同样也决定了整个集群的规模!

来举个例子:

假如我们当前可以确定的存量数据量有1TB,然后每天大约增长10GB的数据量,那么当前集群未来一年之内集群存储大小计算方式为:

(1TB+10GB365天)3*1.3=17.8TB

可以看出,这个集群的规模一年就得大约需要18T的存储空间,这里解释一下计算的公式,括号外面的乘以3指的是当前数据为了防止丢失自己所做的冗余备份,默认是一份数据拷贝三份存储于不同的服务器上,然后后面乘以1.3的目的是作为节点的操作系统或者计算的临时结果预留空间。

然后,我们接着计算节点数:

节点数(Nodes)=18TB/2TB=9

上面的计算公式除以2TB的假设是每个节点有2TB的存储空间,这里根据集群的存储大小可以计算出整个集群的数据存储节点数:9个。

所以需要的总结点数:总结点数=9(数据存储节点)+2(NameNode和SecondaryNameNode)=11个。

到此,就需要搭建11个服务器来运行集群了。


你可能感兴趣的:(##大数据系列(1)——Hadoop集群坏境搭建配置)