Infiniband技术让数据中心高性能计算得以实现

Infiniband高速网络是近几年产生的一种新兴技术，因其具有高带宽、低延迟的特色，得到了计算领域的青睐。

目前，高性能计算机集群（HPC：High Performance Computing）在计算领域中得到了普遍应用。由于HPC系统能够快速准确计算出结果，有助于解决商业和科学研究中面临的问题，所以，HPC系统正在被越来越多的数据中心所采用。

值得注意的是，一个集群中需要支持多种类型的数据流，在同一集群中可同时采用不同类型的互联网络，而这些网络又拥有各自的网络协议，也就意味着，网络性能和特性会有不同。目前，集群计算、存储区域网、网格、内部处理器通信等高端领域对高带宽、高扩展性、高QoS以及高RAS(Reliability、Availability and Serviceability)等有迫切需求，人们对互连技术的兴趣开始恢复，并且非常希望通过更迅速的互连技术，帮助数据中心降低总体运营成本，以实现高性能计算。

为了满足高性能计算需求，各种高速I/O标准相继登场，Infiniband也凭借其特有的优势在市场中逐渐崭露头角。

Infiniband技术是一种开放标准的高速网络互联技术，Infiniband产品也是目前主流的高性能计算机互连设备之一。事实上，Infiniband是一种新型的总线结构，它可以消除目前阻碍服务器和存储系统的瓶颈问题，是一种将服务器、网络设备和存储设备连接在一起的交换结构的I/O技术。

在51CTO记者看来，它是一种应用于服务器端而不是PC端的高性能I/O技术，与局部总线技术相比，Infiniband提供了更高的新能。在传输层上，它提供了可靠的点对点连接，不同于PCI，Infiniband允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求。

据了解，目前基于Infiniband技术的产品单端口可以支持40Gb/s的带宽，这为对于网络带宽要求非常苛刻的应用提供了可靠的保障。与其他网络协议（如TCP/IP）相比，InfiniBand具有更高的传输效率。原因在于许多网络协议具有转发损失的数据包的能力，但是由于要不断地确认与重发，基于这些协议的通信也会因此变慢，极大地影响了性能。

此外，InfiniBand使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失。使用InfiniBand，除非确认接收缓存具备足够的空间，否则不会传送数据。接受方在数据传输完毕之后， 返回信用来标示缓存空间的可用性。通过这种办法，InfiniBand消除了由于原数据包丢失而带来的重发延迟，从而提升了效率和整体性能。

InfiniBand技术解析

为了使Infiniband有效地工作，Infiniband标准定义了一套用于系统通信的多种设备，包括信道适配器、交换机、相关线缆和子网管理器。

HCA卡：Infiniband信道适配器，信道适配器用于Infiniband结构同其他设备的连接。Infiniband标准中的信道适配器称作主信道适配器(HCA)。HCA提供了一个对Web server等主CPU和存储器子系统的接口，并支持Infiniband结构所定义的所有软件动词(Verb)。这里所说的软件动词是对客户方软件和HCA功能之间接口的一种抽象定义。软件动词并不为操作系统指定API，但它定义了操作系统厂商可能用来开发适用应用程序接口(API)的操作。

Infiniband交换机：交换机是Infiniband结构中的基本组件。一个交换机中的Infiniband端口不止一个，它能根据本地路由器包头中所含的第二层地址(本地ID/LID)将数据包从其一个端口送到另外一个端口。交换机只是对数据包进行管理，并不生成或使用数据包。同信道适配器一样，交换机也需要实现子网管理代理(SMA)以响应子网管理数据包。交换机可通过配置来实现数据包的点播或组播。

Infiniband线缆：Infiniband标准定义了三种链路速率，分别为：1X、4X和12X。此标准也定义了包括铜导线和光纤在内的物理介质。此外，它还定义了用于光纤和铜导线的标准连接器和电缆。铜缆上的1X链路采用四线差分信令(每个方向两线)，可提供2.5Gbps的全双工连接。其他链路速率都建立于1X链路的基本结构上，一条Infiniband 1X链路的理论带宽是2.5Gbps。但实际数据速率为2Gbps（因为链路数据采用8b/10b编码)。由于链路具有双向性，所以全双工数据速率为4Gbps。相应的，4X和12X链路的规定带宽为10Gbps和30Gbps。

子网管理器：子网管理器对本地子网进行配置并确保能连续运行。所有的信道适配器和交换机都必须实现一个SMA，该SMA与子网管理器一起实现对通信的处理。每个子网必须至少有一个子网管理器来进行初始化管理以及在链路连接或断开时对子网进行重新配置。通过仲裁机制来选择一个子网管理器作为主子网管理器，而其他子网管理器工作于待机模式(每个待机模式下的子网管理器都会备份此子网的拓扑信息，并检验此子网是否能够运行)。若主子网管理器发生故障，一个待机子网管理器接管子网的管理以确保不间断运行。

选择InfiniBand的理由

InfiniBand HCA卡及芯片核心供应商――Mellanox公司亚洲区技术总监宋庆春此前在接受媒体采访时，曾介绍说，InfiniBand的应用领域正在变得越来越广，自2005年InfiniBand技术开始进入存储市场以来，已有越来越多的存储客户开始使用InfiniBand技术。目前大部分主流厂商都宣布了InfiniBand的存储解决方案。在宋庆春看来，在带宽和价格方面，InfiniBand优势更加明显。他强调，相比FC方案，InfiniBand带宽为20Gbps，而FC只有4 Gbps，在价格上，一块FC 网卡就要上万元，远比InfiniBand HCA卡昂贵。他认为更为主要的是InfiniBand是一种标准开放的协议，具有更多的厂商支持。因此，InfiniBand在SAN存储应用里的优势非常明显。

Taneja Group高级分析师和认证服务总监Jeff Boles表示：“虽然与以太网市场相比InfiniBand还是一个规模相对较小的行业，但是它的发展速度非常快，今年的增长速度已经超出了预期水平。”

思科发言人Lee Davis在最新一份电子邮件中写道，思科认为InfiniBand“是一项非常好的协议，我们相信它的未来将集中在最新的数据中心以太网上，这种技术将以太网的管理简化性和高性能与光纤通道的可靠性（无丢包）结合到了一起。”

据2009年3月题为《InfiniBand：速度、使用和竞争的加强》的Tabor Research报告指出，在高性能计算环境中，InfiniBand仍然是占据主导地位的协议。报告指出，60%的高性能计算机构表示他们将InfiniBand作为系统互连组件。那些正在考虑采用聚合架构策略的高性能计算机构则表示，他们更倾向于在InfiniBand上做整合，而不是在以太网上。

Mellanox公司是目前基于InfiniBand技术的芯片、网卡和交换机的主要提供商之一。在采访中， Mellanox公司CTO，Michael Kagan 先生向51CTO记者介绍，随着双核处理器的出现、PCI-Express总线的发展、超级计算机的规模越来越大以及数据库集群的发展、金融分析的精确度的增加，制造业、石油、气象、生物等仿真技术的发展等，使得高带宽、低延时、高性能、低价格的网络互联方案变得日益重要，而这一切都在推动InfiniBand快速成为市场主流。据了解，国内一些主流的高性能集群计算机提供商都与Mellanox达成了合作，包括曙光、浪潮、联想等。

Mellanox宣布推出最新的ConnectX-2 EN 40G，是一个用于PCIe 2.0总线的单端口40GigE适配器，它将提供在高性能服务器之间或者在服务器和附加存储之间的连接，充分利用40Gb PCIe 2.0总线和它所采用的多核处理器。

市场研究机构IDC预计，到2011年全球InfiniBand适配器收入平均年增长率将达到35%，交换端口收入平均年增长率将达到47.2%。在那时，IT经理们将有更多更灵活的选择，为企业创建一个统一架构，针对I/O整合传输的数据中心。

原文于2009年10月发布在http://server.51cto.com/HPC-158725.htm