高性能计算方案思考和整理

 

计算

CPU主频高，核数多。一般情况下，主频高时，核数会少，反之。服务器/工作站多用志强处理器，个人用PC多用酷睿

并行计算。包含三个层面的并行：1）在程序中采用GPU/FPGA加速，将计算量分解到不同计算单元上。2）在程序中采用Spark之类架构，将计算量分解到不同计算节点，每个节点可能是一个高性能服务器。3）采用集中式管理软件，把封装好的可执行文件（.exe文件）分别在不同计算节点上运行。

通信

千兆以太网：适合用作管理网络。带宽小，可传输小文件和指令，选两台普通PC作为管理节点，一个是管理调度，可远程开关机，远程查看机房中每个计算节点运行负荷，集中管理个节点程序运行和对存储节点的访问等。另一个是容错处理，当管理调度意外停机时可以及时补位。

万兆以太网：适合对外通信。可以传输视频、计算结果到别的网关。光口传输稳定性优于电口。采用光纤传输需要配置光模块，且光纤很脆弱；采用电口传输时，需要使用超六类网线，发热大。

IB网：适合计算节点间通信。只有Mellanox公司在做（http://www.mellanox.com/）这种交换机，目前带宽可达200Gbps,市场中常见的有100Gbps和56Gbps. 曾测试通过从SSD盘传输8G文件到SSD盘，使用1Gbps以太网用时约90s， 使用IB网约7s.速度有明显提升。

存储

有以下两种方式：

1）磁盘阵列：可以加到管理节点中。不支持IB网

2）组网存储服务器：挂载在IB上，内部是SSD和DDR混合存储。考虑存储大小可扩展性和磁盘读写速度。

SSD磁盘：速度快，但是硬盘一旦损坏所有数据无法恢复。U.2接口SSD速度大约30Gbps，而普通SATA只用6Gbps左右，但是U.2接口SSD很贵

DDR磁盘：传统的机械硬盘。SAS接口向下兼容SATA接口，适用于企业级

显示

显卡：RTX2080Ti(性价比高)\TitanV等；多高清输出口（4k以上）

显示屏：多显示屏（三屏支架）

工业投影系统：高清大气但成本高（三四十万）

AR/VR：可以是手机/平板/显示屏/头盔/投影等；3D空间；3D交互；沉浸感好；新颖

机房

隔音：真空玻璃隔断

散热：给机房空间单独配置空调，对着机架吹风

安全性：自动灭火器

空间规划：屋顶/地下走线，空调水，空调外机安装，从电井直接取电等等

兼容性

系统驱动和芯片组

外加的GPU\网卡占用PCIe槽数，空间是否足够，是否会和其他部件干涉或紧邻存在短路风险

机箱电源功率一定要考虑扩展之后的功耗。可配多块电源