Mellanox Infiniband 架构设计快速实战指南 - B

书接上回：Mellanox Infiniband 架构设计快速实战指南 - A

2. Infiniband协议类型

在 Mellanox Infiniband Topology Generator 中，选定了网络拓扑后，接下来很重要的就是选定Infiniband的Data Rate，或者可以称为Infiniband协议类型。
在Wikipedia中，Infiniband历史上全部的类型包括
SDR： 2001/2003年
DDR： 2005年
QDR： 2007年
FDR： 2011年
EDR： 2014年
HDR： 2017年
NDR： 2020年之后（预计）
XDR： 2023年之后（预计）
从这项技术的产生年份可以看出，目前市场主流，同时也是Mellanox可以提供的方案包括：FDR, EDR, HDR。在役HPC中当然还可以看到40Gb/s QDR的IB交换机，但只会越来越少了。
而三种主流协议对应的rate也可以直接在这个Generator工具中看到：

• FDR 56 Gb/s
• EDR 100 Gb/s
• HDR100 Gb/s
• HDR 200 Gb/s

详细的技术细节可以参考本文附带的附件资源。

目前，根据个人观察，商业HPC的主流应用集中在100Gb/s EDR 向 FDR 过渡的阶段。受成本因素限制的小微型集群也仍会采用56Gb/s FDR技术。当然，速率的选取主要看应用对于网络传输的带宽需求，但同时也要考虑到网络拓扑，后期扩展，硬件选型，预算成本等因素。其中硬件选型可以通过本文介绍的Generator工具，或直接搜索 Mellanox Online Store 详细了解。

3. 还需要什么？

通常来说，在Infiniband设计过程中，当明确了网络拓扑和协议类型之后，可能还需要明确一些附加功能，比如是否要做QoS，是否要做Routing，是否要启用SubNet Manager，是否要启用RDMA，但这些大多属于MLNX-OS (Mellanox Operating System) 范畴，可以按需通过官方文档查询和配置。

实际集群建设过程中，还需要考虑很重要的一点就是，线缆。

Infiniband使用的线缆区别于传统的以太网线缆和光纤线缆，而是使用专用的Infiniband线缆。

总体来说，线缆根据材质分为两类：铜缆和光纤。
同时，在支持速率上也需要区分明确，即上述的QDR，FDR，EDR，HDR 线缆各自不同，需要根据选定的IB交换机适配。
而铜缆和光纤主要区别在于长度：
铜缆常见有：0.5m，1m，2m，3m
光纤常见有：1m，3m，5m，10m，20m，50m…
可见两种材质在长度上有交集，在实际选用上主要考虑的是成本，因为比如同样3m EDR IB线缆，光纤会比铜缆贵不少。因此，在长度允许的情况下，一般会有限选用铜缆，长度需求较长则选择光纤。
（另有说铜缆较光纤更为“稳定”，个人理解还是指材质的稳定，而非性能的稳定）

综上所述，在明确了Infiniband网络拓扑，交换机类型（速率、端口数），和线缆的长度、数量之后，HPC集群的Infiniband架构就基本成型啦！

最后补充一句：以上均根据个人经验和学习所得，如有遗漏或错误，欢迎补充、指正。