分布式集群中的硬件选择

一、背景

最近2个月时间一直在一个阴暗的地下室的角落里工作,主要内容就是hadoop相关的应用。在这期间,Hadoop的应用确实得到认可,但是同时也带来了一些问题,软件方面我就不在这里说了,只说说一些物理方面的局限:

1、众所周知,hadoop能够接受任何类型的机器加入集群,在多不在精。但是这带来一个问题,机房的空间开销以及电费。

2、机器太多,人力维护成本也是增加的。机柜啊、物理空间都是个不小的负担和开销。

刚好,在这个问题产生的同时,十分幸运的被一同事叫出来,去参加一个会议,得以有机会走上地面。这个会议是个联合性质的,多个公司的人在一起。其中有一家公司在海量数据计算方面力推hadoop,并做了比较好的配套开发工作。比如工作流、数据清洗过滤、输出数据管理等。其实这些应用模型都大同小异。但最引起我关注的是他们的硬件方面的选型,确实很有新意(当然,可能由于我对硬件不熟悉,说的不对还望朋友们别笑话)。

二、具体内容

在昨天会议上,对方提到了自己采用的硬件设备,能很好的解决物理空间和维护成本的问题(当然,我也碰到不在乎空间和电费的主。地方有的是,就是希望把以前淘汰的机器都用上)。他们的机器类型是一款2U的设备,在这个2U的机器上集成了4块主板,12块硬盘。什么意思呢,说白了,就是把4台机器集成到了一个2U的设备上。除了电源共用(没问电源多少瓦的,一激动,忘记问了),其他都是独立的。这样的机器类型大大的节约了物理空间。试想一下,一个机柜10台2U设备,传统的只能存放10台节点机器。如果换成这样的2U设备,可以存放4×10=40台节点机器,空间利用缩小,这样的机器我觉得还是很客观的。

三、总结

1、我不是在做广告,只是觉得这样的硬件类型确实是很适合hadoop集群的使用。

2、硬件方面我不是很熟悉,可能熟悉硬件的朋友对这个都比较了解了,所以我说错了还望指出来。

3、分布式计算的集群确实可以很好的解决海量计算问题,但是带来规模庞大的硬件数量确实在空间和电费上是个挑战。

4、写的不对或是有争议的地方,随时欢迎大家发邮件讨论:[email protected]

你可能感兴趣的:(Hadoop,集群,hadoop,分布式计算,工作,笑话)