集群系统的现状与挑战

 

作者：清华大学教授 郑纬民   --《计算机教育》2004年06期

一。集群系统成为构建高性能计算系统的主流方式

由于具有低成本、高性能和良好的可扩展性，集群系统已经日益成为构建高性能计算系统的主要方式。从2003年11月发布的TOP 500的情况来看，以系统个数计算，集群系统占41.6%；从Linpack性能来看，集群系统占TOP 500的49.8%。在前10名的系统中，集群系统更是占到了7个。由此可见，在构建超大规模计算系统时，集群系统已经成为主流。

集群系统的一个重要特点是尽量使用商用部件以降低成本。用来构建集群系统的各个部件，包括计算结点和通信网络，都可以在市场上很方便地得到而无需专门定制。而使用开放源代码的Linux操作系统和其他软件工具的集群系统更可以进一步降低系统的软件成本。

成本的降低和软硬件系统的易获得性使集群系统的构建工作不再是专业公司和研究部门的专利，很多使用单位都开始在市场上购买零件并使用现成的软件工具，自己构建中小规模的集群系统。

二、64位CPU正在高性能计算系统中日益普及

尽管Alpha芯片在10年前就提供了64位的计算能力，但64位运算的真正普及还刚刚开始。随着Intel IA64、AMD Opteron和IBM G5芯片的出现，具有64位处理能力服务器和桌面系统的价格已经大大下降。

另一方面，内存容量的提升和单位内存价格的持续下降也使得大内存系统的价格达到了用户所能够承受的范围。在1994年，4MB内存的价格约2000元人民币，而现在2000元就可以买到1GB的内存。

 

上述两个因素的叠加，使得用户可以以相对低廉的价格获得具有大容量内存的64位计算系统，从而为从事空气动力学模拟、生物计算、气候模拟等研究重大挑战问题的科学计算应用提供了良好的计算平台。另一方面，数据挖掘、决策支持和视频点播服务等应用也对内存空间有着巨大的需求。64位的系统也为这些商业计算应用提供了强有力的帮助。

三、高性能存储系统

如今，高性能计算的研究领域已经不限于科学计算本身。大规模网络服务等商业计算也是新兴的高性能计算研究和应用方向。Web服务、视频点播服务、数据库服务等目前流行的网络应用对数据存储容量、访问能力和管理方式提出越来越高的要求，这些都是传统的SCSI硬盘、RAID存储系统无法胜任的。高容量、高性能、可靠和易管理的存储技术研究成为当前热点。

存储区域网络(SAN)是一种新兴的网络存储技术，它将存储子系统与服务器分离，利用高速网络进行块数据的传输，实现存储系统的可扩展性和高性能。

SAN使用高速网络传输代替SCSI总线，通过私有网络传输SCSI命令，每个设备有各自的数据访问路径，设备访问的网络拥塞处理由高速交换机完成。目前，光纤网络可提供2Gb/s的带宽，Ifiniband的实测网络带宽已达600Mb/s，而千兆Ethernet网可提供1Gb/s的带宽，不久将出现10Gb/s的高速传输网络。高速网络技术，尤其是光纤通道技术的应用为数据存取提供了更好的可扩展性，使网络的传输带宽可以成倍地增长，从而确保了SAN系统数据访问的高性能。

四、互连网络

连接集群系统底层的互连网络，对集群系统的整体性能有决定性的作用，因此一直是学术界和工业界所关注的热点。目前，千兆以太网卡已经成为标准配置集成在服务器主板上，千兆以太网交换机的价格也已经非常平民化，因此千兆以太网成为了小规模、低成本集群的主要网络互连方式。
Myrinet、Quadrics、SCI和最近出现的InfiniBand 等商业化高性能集群通信网络，以更高的带宽和更小的传输延时，为高性能集群系统提供了多样化的选择