Infiniband的现状和未来

去年１１月１３日在美国佛罗里达Tampa召开的一年两次的巨型计算机博览会（ＳＣ０６）上公布的世界前５００名巨型机的排名中用于服务器互联的公开标准协议 Infiniband的占有率首次超过了私有协议 Myrinet，而在所有使用了Infiniband的巨型机中 Voltaire又以绝对优势占了2/3。另外到今年六月为止的世界前５００名巨型计算机排名中占有率一直持续上涨的千兆以太网也首次下跌１８％。至此经过３年多的较量，在高性能计算（HPC）领域服务器互联网络的首选协议已经明确为Infiniband。在此想就Infiniband的现状和发展趋势向各位读者做一下介绍。

     Infiniband的特点：

     Infiniband协议的主要特点是高带宽（现有产品的带宽4xDDR 20Gbps,12x DDR 60Gbps, 4xSDR 10Gbps, 12xSDR 30Gbps、预计两年后问世的QDR技术将会达到4xQDR 40Gbps,12x QDR 120Gbps）、低时延（交换机延时140ns、应用程序延时3μs、一年后的新的网卡技术将使应用程序延时降低到1μs水平）、系统扩展性好（可轻松实现完全无拥塞的数万端设备的Infiniband网络）。另外Infiniband标准支持RDMA(Remote Direct Memory Access)，使得在使用Infiniband构筑服务器、存储器网络时比万兆以太网以及Fibre Channel具有更高的性能、效率和灵活性。

     Infiniband与RDMA:

     Infiniband发展的初衷是把服务器中的总线给网络化。所以Infiniband除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延。大家熟知的在总线技术中采用的DMA(Direct Memory Access)技术在Infiniband中以RDMA(Remote Direct Memory Access)的形式得到了继承。这也使Infiniband在与CPU、内存及存储设备的交流方面天然地优于万兆以太网以及Fibre Channel。可以想象在用Infiniband构筑的服务器和存储器网络中任意一个服务器上的CPU可以轻松地通过RDMA去高速搬动其他服务器中的内存或存储器中的数据块，而这是Fibre Channel和万兆以太网所不可能做到的。

     Infiniband与其他协议的关系：

     作为总线的网络化，Infiniband有责任将其他进入服务器的协议在Infiniband的层面上整合并送入服务器。基于这个目的,今天Volatire已经开发了IP到Infiniband的路由器以及Fibre Channel到Infiniband的路由器。这样一来客观上就使得目前几乎所有的网络协议都可以通过Infiniband网络整合到服务器中去。这包括Fibre Channel, IP/GbE, NAS, iSCSI等等。另外2007年下半年Voltaire将推出万兆以太网到Infiniband的路由器。这里有一个插曲：万兆以太网在其开发过程中考虑过多种线缆形式。最后发现只有Infiniband的线缆和光纤可以满足其要求。最后万兆以太网开发阵营直接采用了Infiniband线缆作为其物理连接层。

     Infiniband在存储中的地位：

     今天的Infiniband可以简单地整合Fibre Channel SAN、NAS以及iSCSI进入服务器。事实上除了作为网络化总线把其他存储协议整合进服务器之外，Infiniband可以发挥更大的作用。存储是内存的延伸，具有RDMA功能的Infiniband应该成为存储的主流协议。比较一下Infiniband和Fibre Channel我们可以看到Infiniband的性能是Fibre Channel的5倍，Infiniband交换机的延迟是Fibre Channel交换机的1/10。另外在构筑连接所有服务器和存储器的高速网络时使用Infiniband Fabric可以省去Fiber Channel Fabric,从而给客户带来巨大的成本节省。

     今天在使用Infiniband作为存储协议方面已经有了很大的进展。作为iSCSI RDMA的存储协议iSER已被IETF标准化。

     不同于Fibre Channel，Infiniband在存储领域中可以直接支持SAN和NAS。存储系统已不能满足于传统的Fibre Channel SAN所提供的服务器与裸存储的网络连接架构。Fibre Channel SAN加千兆以太网加NFS的架构已经严重限制了系统的性能。在这种情况下应运而生的则是由在Infiniband fabric连接起来的服务器和iSER Infiniband存储的基础架构之上的并行文件系统（诸如HP的SFS、IBM的GPFS等等）。在未来的服务器、存储器网络的典型结构将会是由Infiniband将服务器和Infiniband存储器直接连接起来，所有的IP数据网络将会通过万兆以太网到Infiniband的路由器直接进入Infiniband Fabric。

     在存储厂商方面Sun, SGI, LIS LOGIC,飞康软件等公司都已推出自己的Infiniband存储产品。在中国新禾科技公司也推出了他们的Infiniband存储系统。

     从价格的角度，今天的Infiniband是万兆以太网的几分之一。Inifiniabnd有比FibreChannel高5倍的性能，在价格上则已与Fibre Channel在同一个数量级上。

     在HPC以外的领域的Infiniband的应用：

     在过去一年里我们看到Infiniband在HPC以外的领域得到了长足的进步。这主要包括Infiniband在大型网络游戏中心的应用、Inifiniband在电视媒体编辑及动画制作方面的应用。在证券业方面，人们也已经在着手开发以Infiniband为核心的高速、低迟延交易系统。在银行业我们也看到了一些以Inifiniband全面取代Fibre Channel的努力。

     明、后年Infiniband的看点：

     Voltaire将于明年秋天推出万兆以太网到Infiniband的路由器。这将使由Infiniband对数据网络存储网络的整合得到加速。

     Voltaire已经开发出全套的iSER Initiator、Target code。很多存储合作伙伴在利用Voltaire的iSER code开发他们独自Infiniband存储系统。预计在明、后年大家会看到更多的Infiniband存储系统投放市场。

     Infiniband已经进入刀片服务器（IBM、HP等等），我们在未来的两年还会看到这方面更多的努力和成功。

     Infiniband标准装配在服务器上的努力和成功。

     装载Infiniband存储的巨型机进入世界前500巨型机列表。

     Infiniband在网络游戏业、石油业、电视媒体业、制造业等方面进入企业级应用。