Z_HPC_网络

常用的几种内部互联网络

在大规模并行计算和机群等高性能计算系统中，处理器之间或计算节点之间的快速互联网络的重要程度并不亚于处理器本身。在早期的大型计算系统中，处理器之间的通信一直被所采用的互联网络（通常是以太网）延时大、带宽不足等因素所牵制；如今，Myrinet、QsNet、SGI以及Infiniband等多种专用高速互联网络的成功应用，使得这种状况发生很大改观.

高性能计算系统的互联方式有很多种，最初的机群系统是基于LAN技术的，也就是以最普通的以太网（Ethernet）作为数据交换媒介。其优势在于可以方便地增加计算节点到集群系统中，但是其缺点也很多，如传输速度较慢，复杂的协议造成非常高的延时，并且限制了扩展性。

1、广泛使用的Myrinet

Myrinet是目前机群系统中应用最为广泛的互联网络。Myricom公司从1994年就开始销售第一代Myrinet产品，当时只是作为以太网络的第二选择来实现机群系统中的节点互联，除了100MB/s的高带宽外，它的主要优势是小数据量延时，只有10m～15ms，这与当时Convex、IBM、SGI等公司在并行系统中使用的专有网络的高延迟形成鲜明对比。此后随着软硬件的不断升级，Myrinet更是成为了机群制造商的第一选择，直到今天这种优势依然存在。

同Infiniband一样，Myrinet使用全双工链路，并且通过远程内存存取（Remote Direct Memory Access，RDMA）对其他主适配器卡（称为Lanai）的远程内存进行读/写操作。

最新一代的Myrinet使用了光纤作为信号传输通道，这不仅在连接方面有了很大的灵活性，而且也给信号高速传输提供了足够空间。但同时不可忽略的是，由于光纤电缆和连接器都很“娇气”，很容易在机群节点维护的过程中受损，可靠性方面值得关注。

目前Myrinet已经有8～128口交换机提供。从Myricom自己提供的最新测试数据来看，使用业界惯用的MPI Ping-Pong测试方法，其带宽为230MB/s，MPI延时为10ms。

2、InfiniBand

InfiniBand 是一种基于交换的串行 I/O 互连体系结构，运行速度为每方向 2.5Gb/s 或 10Gb/s（每端口）。和共享总线结构不同，InfiniBand 是一个针数很少的串行结构，可连接印刷电路板（PCB – Printed circuit board）上的设备，并支持箱外带宽（Bandwidth Out of the Box）。使用普通的双绞铜线，InfiniBand 支持的连接距离为 17m ；而如果使用光缆，其支持的距离则可达数公里甚至更远。此外，InfiniBand 还支持 QoS 和 RAS 。 RAS 特性在设计之初就被融入了 InfiniBand 的体系结构，这些特性对于 InfiniBand 有能力成为位于 Internet 核心的下一代服务器和存储系统的通用 I/O 基础架构具有非常重要的意义。

InfiniBand 系统网络主要由两个核心部件组成：主机通道适配器（Host Channel Adapter）和 InfiniBand 交换机。其中，HCA 为主机设备提供一个接口用于支持所有 InfiniBand 定义的操作，而交换机则用于将一个端口接收到的 InfiniBand 报文转发到另一个端口，它支持单播和多播两种机制。

3、快速可靠的QsNet

QsNet是Quadrics公司的产品，该技术的起源可以追溯到早期一家德国公司Meiko，它专门研制称号为CS-1、CS-2的并行计算系统，在当时的CS-2系统中就包括了一种很好的对数网络，在Meiko公司倒闭的时候，这种网络作为单独的产品保留并被一家意大利公司Alenia接手，放置在一个独立的公司Quadrics中运营。后来由于Digital/Compaq公司选择了QsNet作为其AlphaServer SC系列高性能计算机的互联网络而一举成功。不过事实也证明，QsNet是一种快速、可靠的网络系统。从两年前开始，该技术也逐渐在机群系统中得到应用。