InfiniBand：赋能高性能计算网络的出色引擎

InfiniBand作为一种先进的内网计算平台，凭借其出色的性能优势成为驱动高性能计算（HPC）以及超大规模云基础设施发展的核心力量。该技术专为满足服务器级连接需求设计，在服务器间的高速通信、存储设备与网络设施之间的高效互联中发挥着关键作用。InfiniBand因其出色性能和可靠表现，不仅被InfiniBand行业协会广泛接纳并积极推广，更是在全球超级计算机500强榜单中占据主导地位，成为理想互连解决方案。 在TOP500系统列表中，有44.4%的系统采用了InfiniBand作为关键的互连技术手段，远高于采用以太网技术的40.4%份额。本文将深入剖析InfiniBand相较于以太网的独特优势及其在高性能网络环境中的差异化应用价值。

InfiniBand和以太网是什么？

InfiniBand技术概述

InfiniBand作为由InfiniBand贸易协会（IBTA）指导制定的标准化通信规范，专注于构建适用于数据中心内部服务器、通讯基础设施设备、存储解决方案以及嵌入式系统之间互连的交换结构体系。其对标准化的高度重视，确保了高性能计算网络环境中各组件间的无缝集成与高效信息传递。 InfiniBand凭借其显著的高带宽及低延迟特性而备受瞩目，目前支持FDR 56Gbps、EDR 100Gbps、HDR 200Gbps以及NDR 400Gbps/800Gbps（通过4x链路宽度连接时的数据传输速率），并预计未来将进一步提升速度。此外，InfiniBand具备出色的可扩展性，可在单个子网内轻松支持数万个节点，因此成为高性能计算（HPC）环境的理想选择。同时，借助服务质量（QoS）和故障转移功能，InfiniBand成为了非易失性内存快速结构化接口（NVMe-oF）存储协议以及包括以太网、光纤通道（FC）和TCP/IP在内的多种网络架构中的关键组件。对于追求出色性能与扩展性的数据中心而言，选择InfiniBand无疑是明智之举。

以太网技术概述

以太网标准源自施乐公司、英特尔公司和DEC的共同研发，现已成为全球广泛使用的局域网（LAN）数据传输通信协议。自20世纪70年代以来，以太网作为一种有线通信技术，专为连接各种局域网（LAN）或广域网（WAN）内的设备而设计。凭借其高度适应性，打印机，笔记本电脑等不同类型的设备都能够通过以太网实现互联，广泛应用于建筑物、住宅及小型社区等场所。通过用户友好的配置方式，仅需使用路由器和以太网线即可轻松构建局域网（LAN），并且能够无缝地集成交换机、路由器和个人计算机等设备。 尽管无线网络在许多场景得到广泛应用，但以太网仍凭借其出色的可靠性和抗干扰能力，在有线网络领域保持着重要地位。历经多年的发展与修订，以太网不断提升和完善自身功能。如今，IEEE 802.3标准组织已经发布了包括100GE、200GE、400GE和800GE在内的多个以太网接口标准，彰显了业界持续推动和优化以太网技术的决心与努力。

InfiniBand技术标准

InfiniBand NDR（下一代数据速率）

InfiniBand NDR系列包含适用于400Gbase/800Gbase传输速率的光模块与高速线缆。这些组件在GPU加速计算场景中提供了高性能连接，预计可节省高达50%的成本，特别适用于高性能计算（HPC）、云计算、模型渲染和基于InfiniBand 400Gb/800Gb网络的存储应用。

InfiniBand HDR（高数据速率）

飞速（FS）推出的InfiniBand HDR产品线涵盖了多样化的高速互联产品，例如200Gb/s和400Gb/s QSFP56 IB HDR多模光纤有源/无源光缆、有源/无源高速线缆、光模块路由器等。这些光模块和线缆能够无缝衔接英伟达（NVIDIA）GPU（如A100/H100/A30）和CPU服务器，以及ConnectX-5/6/7 VPI等存储网卡。此类解决方案不仅可实现高达50%的成本节约，还在涉及GPU加速的高性能计算（HPC）集群应用中表现出色，如模型渲染、深度学习（DL）以及InfiniBand HDR环境下的英伟达（NVIDIA）应用网络通信。

InfiniBand EDR（增强数据速率）

InfiniBand EDR产品系列提供了一系列100Gbase QSFP28 EDR光缆、EDR高速线缆、光缆及光模块，专为GPU加速计算设计，具备经济效益和出色性能。

InfiniBand FDR（十四倍数据速率）

InfiniBand FDR产品范围包括40Gbase QSFP+ FDR10光缆、高速线缆及光模块，以及56Gbase QSFP+ FDR高速线缆和光缆。所有这些产品均可无缝集成到迈络思（Mellanox） EDR交换机之中。

InfiniBand在高性能网络环境中的显著优势

InfiniBand技术最初旨在解决高性能计算环境中集群间数据传输的瓶颈问题，随着时间推移，已逐渐演变为一种广泛应用的互连标准，并成功适应了现代的多样化需求。相较于以太网，InfiniBand在速率、带宽、延迟、网络可靠性和网络架构等方面表现出显著差异。

• 速率：InfiniBand已超越100G以太网，目前支持100G/200G到400G/800G的InfiniBand交换机配置，完美契合HPC架构的高性能要求。InfiniBand交换机通过高带宽、高速率与低延迟的有效结合，显著提升了服务器效能和应用运行效率。

• 网络带宽：InfiniBand的发展迅速，尤其在对高性能计算场景的高度优化和降低CPU处理负载方面表现突出。相较而言，虽然以太网广泛应用于各类终端设备之间的连接，但在高带宽需求上并没有像InfiniBand那样迫切。

• 网络延迟性：InfiniBand采用Cut-Through交换技术，在转发数据时能将延时降至100nm以内，大幅提升了网络响应速度。相比之下，以太网因其在交换机中引入了IP、MPLS、QinQ等服务，增加了额外的处理流程，导致转发延时较高。

• 网络可靠性：InfiniBand凭借清晰的第1层至第4层协议格式设计和端到端流控机制，确保了无损网络通信，为高性能计算领域提供了出色的可靠性保障。而以太网则缺乏类似的调度型流控机制，依赖于芯片更大的缓存区域临时存储消息，这不仅提高了成本，还增加了设备功耗。

• 网络扩展性：InfiniBand中的单个子网能够在汇聚层上支持多达48,000个节点，相比以太网，它减少了对ARP广播机制的依赖，有效避免了广播风暴并减轻了额外带宽浪费。此外，多个子网可以灵活地关联至交换机，进一步增强了网络灵活性。

• 网络管理。InfiniBand借鉴了软件定义网络（SDN）理念，使其网络架构更为简洁高效。每个L2网络内部都配备了一个子网管理器，用于配置节点并智能计算转发链路信息。与此相反，以太网需要依赖MAC地址表、IP协议以及ARP协议等多个层次实现网络互联，从而增加了网络管理的复杂性。此外，以太网依靠定期发送更新包来维护路由表，并通过VLAN机制划分虚拟网络边界，限制网络规模。然而这种机制可能导致环路等问题，通常还需要STP等额外协议来进行环路避免。

随着数据通信、互联网技术和可视化展现需求的不断提升，对计算能力、存储容量以及网络效率的需求也随之增长。InfiniBand网络凭借其高带宽服务、低延迟特性，以及将协议处理和数据移动从CPU转移到互连层以减少计算资源消耗的独特优势，成为高性能计算数据中心的理想选择。该技术广泛应用于Web 2.0、云计算、大数据处理、金融服务、虚拟化数据中心以及存储应用等领域，实现了性能的显著提升。

如何为您的网络选择合适的网络技术

在选择合适的网络技术时，InfiniBand与以太网在不同应用场景中各具独特优势。当聚焦于显著提升数据传输速率、优化网络资源利用率并有效减轻CPU在网络数据处理方面的负担时，InfiniBand网络凭借其核心技术优势，在高性能计算领域脱颖而出，成为关键解决方案。 然而，在数据中心环境中，如果节点间的通信延迟不是主要考虑因素，而更注重网络接入的灵活性与扩展性时，以太网能够提供一种长期稳定且高度适应的基础设施支持。 InfiniBand网络凭借其出色性能和创新架构设计，为高性能计算HPC数据中心用户带来了前所未有的业务效能提升。通过解决多层级结构导致的延迟问题，并确保关键计算节点能无缝升级接入带宽，InfiniBand技术在提高整体运营效率方面起到了关键作用。随着应用范围不断扩大和技术认可度持续攀升，预计未来InfiniBand网络将在更多复杂且要求严苛的应用场景中得到广泛应用和部署。

*文章来源于飞速（FS）社区