分布式集群中的硬件选择

一、背景

最近2个月时间一直在一个阴暗的地下室的角落里工作，主要内容就是hadoop相关的应用。在这期间，Hadoop的应用确实得到认可，但是同时也带来了一些问题，软件方面我就不在这里说了，只说说一些物理方面的局限：

1、众所周知，hadoop能够接受任何类型的机器加入集群，在多不在精。但是这带来一个问题，机房的空间开销以及电费。

2、机器太多，人力维护成本也是增加的。机柜啊、物理空间都是个不小的负担和开销。

刚好，在这个问题产生的同时，十分幸运的被一同事叫出来，去参加一个会议，得以有机会走上地面。这个会议是个联合性质的，多个公司的人在一起。其中有一家公司在海量数据计算方面力推hadoop，并做了比较好的配套开发工作。比如工作流、数据清洗过滤、输出数据管理等。其实这些应用模型都大同小异。但最引起我关注的是他们的硬件方面的选型，确实很有新意（当然，可能由于我对硬件不熟悉，说的不对还望朋友们别笑话）。

二、具体内容

在昨天会议上，对方提到了自己采用的硬件设备，能很好的解决物理空间和维护成本的问题（当然，我也碰到不在乎空间和电费的主。地方有的是，就是希望把以前淘汰的机器都用上）。他们的机器类型是一款2U的设备，在这个2U的机器上集成了4块主板，12块硬盘。什么意思呢，说白了，就是把4台机器集成到了一个2U的设备上。除了电源共用（没问电源多少瓦的，一激动，忘记问了），其他都是独立的。这样的机器类型大大的节约了物理空间。试想一下，一个机柜10台2U设备，传统的只能存放10台节点机器。如果换成这样的2U设备，可以存放4×10=40台节点机器，空间利用缩小，这样的机器我觉得还是很客观的。

三、总结

1、我不是在做广告，只是觉得这样的硬件类型确实是很适合hadoop集群的使用。

2、硬件方面我不是很熟悉，可能熟悉硬件的朋友对这个都比较了解了，所以我说错了还望指出来。

3、分布式计算的集群确实可以很好的解决海量计算问题，但是带来规模庞大的硬件数量确实在空间和电费上是个挑战。

4、写的不对或是有争议的地方，随时欢迎大家发邮件讨论：[email protected]