hadoop：搭建Hadoop集群，一个月6T的数量需要几台服务器

配置几个namenode,几个datanode,namenode和datanode怎么部署，内存与硬盘大小？？

 

最好是两个做成HA 关于硬盘: 6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储;(这里我说的是一个月的,你数据保存几个月,就乘几倍) 如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了. 一般是这样计算硬盘大小 (原始数据+中间数据+结果数据)*副本数量=总硬盘大小 关于内存: namenode不用说了,主要就是用内存保存block和node之间对应关系的,也是要根据数据大小计算的,6T/Block大小(默认为128M)=有多少block-->M个 一个block占多少内存: 保守地设置每一百万数据块需要1000MB内存 namenode总内存(兆M)=M*1000MB/100万 datanode的内存: 一般问题不大,一般都是用于mr的计算,这个东西根据你性能的需要设置 关于多少台机器? 根据Task任务的数量和你的性能指标来做决定 一个Block对应一个Mapper任务,上面算出来M个Block了,mapper任务也是那么多 实际测试一下,一定数据量在x台机器上运行时间,根据你的指标去评定要多少台机器 hadoop集群的性能和节点个数近似成正向关系   原文参考：https://zhidao.baidu.com/question/364801478301540492.html