导语
1.GPU的价值不止体现在深度学习,在高性能计算、人工智能、生物信息、分子模拟、计算化学、材料力学、系统仿真、流体力学、机械设计、生物制药、航空动力、地质勘探、气候模拟等领域,算法越来越复杂,需要处理的海量数据越来越巨大,高性能计算能力就显得尤为重要。近日为满足GPU服务器、高性能服务器、深度学习服务器、水冷工作站、水冷服务器、液冷工作站、液冷服务器等的高速运转,英伟达发布产品——H100 GPU。
2.随着信息技术的快速发展,高性能服务器的需求不断增长。为保障服务器长期可靠稳定运行,合适的散热技术显得至关重要。
3.基于蓝海大脑超融合平台的水冷GPU服务器及水冷GPU工作站采用绿色冷却技术,Gluster 分布式架构设计,提供大存储量,拥有开放融合的特性和超能运算的能力。
1 蓝海大脑服务器于 NVIDIA H100 GPU
蓝海大脑宣布服务器产品线全力支持最新的 NVIDIA H100 GPU。蓝海大脑服务器产品在单机上最多可支持4、8甚至9个H100 GPU,可为多种人工智能场景提供超强算力、灵活的资源调度和成熟的生态支持。
搭载NVIDIA H100 GPU的蓝海大脑服务器具有更强计算性能、更高的GPU间通信带宽和创新的计算架构,支持用户对更大、更复杂的模型进行训练和推理。同时,搭配蓝海大脑算力资源管理平台,用户可以更加便捷高效地使用AI集群算力资源。
基于GH100 GPU
据官方数据显示,全新的NVIDIA GH100 GPU不是基于之前传闻的台积电 N5工艺,而是使用更先进的N4工艺。整个芯片面积814mm²,相比GA100要小,但集成800亿晶体管,并采用更高频率的设计。
完整版GH100 GPU架构框图
完整规格的GH100 GPU规格,包含总计8个GPC图形集群,72个TPC纹理集群,144个SM流式多处理器,共计18432个FP32 CUDA核心(与目前传闻中AD102完整版完全吻合),专用于AI训练的第四代张量核心TensorCore为每组SM配备4个,共计528个。显存方面最大支持6个HBM3或HBM2e堆栈,6144bit显存位宽,L2缓存提升到60MB,并支持第四代NVLink和PCIe Gen5。
Hopper架构的SM流式多处理器框图
不过,GH100是面向人工智能、数据分析等负载构建的,不是图形处理。SXM5版和PCIe H100所使用的GH100 GPU中,只有两个TPC具有图形处理能力。
H100 SXM5 加速器
GH100 GPU用于两个款式的加速卡上,分别为SXM5版和PCIe5版,SXM协议更多用在密集计算的数据中心上,规格也更高一些。大概是受制于良率,即便是高规格的SXM5版也并不是满血的GH100核心。
H100 SXM5使用的H100 GPU规格为66个TPC纹理集群,SM数量下降到132组,而CUDA数量也下降到16896个(但相比于目前的GA100岂止于翻倍),张量核心为528个。显存方面,H100 SXM5启用5个HBM3堆栈,共计80GB,显存位宽为5120Bit。L2缓存也下降到50MB,对比A100依然有25%提升。
H100 PCIe5 加速器
PCIe5版的H100 CNX,集成CX7芯片,可将网络数据以50GB/s的速度直接传输给GH100 GPU处理
PCIe版虽然更多用于小型企业,但是PCIe版的性能也是不容小觑。PCIe版采用进一步缩减的GH100 GPU,SM数量下降到114组,CUDA数量下降到14592个,张量核心则缩减到了456个。显存方面,启用的是5个HBM2e堆栈,容量与SXM5版相同,为80GB 5120Bit位宽,L2缓存大小一致。
碾压性的性能对比
白皮书揭露了新的H100两款FP32算力(一般用户可以关注的指标),132组SM/16896CUDA的SXM5版本,FP32单精度算力为60TFlops。根据CSDN一篇文章提供的公式:单精度理论峰值=FP32 cores*GPU频率*2,可以推出工作频率约为1775MHz。而A100加速卡的GA100核心工作频率为1410MHz,频率提升近26%。GeForce产品使用的GPU往往会给到更高的频率,下一代RTX 40有望2G起步?
在算力方面,H100 SXM5对比现在的A100在多个项目中都超过200%的提升,最低的FP16半精度运算也有50%的性能提升,可谓是碾压级。
在演讲上,老黄更是直接带来H100在三种负载下对比A100的效率提升,训练Transformer模型从5天缩短到了19小时,而在结合英伟达多项尖端软硬件条件下,整个模型训练从7天缩短到了20小时,效率足足提升9倍。
新一代DGX H100,内置8块H100加速器
蓝海大脑是全球领先的AI服务器厂商,拥有丰富的AI计算产品阵列,并和AI客户紧密合作,帮助其在语音、语义、图像、视频、搜索等各方面取得数量级的AI应用性能提升。
2 高性能机架式服务器散热
随着信息技术的快速发展,对高性能服务器的需求越来越大。为保证服务器长期可靠稳定的运行,合适的散热技术非常重要。下面以高性能机架式服务器为研究对象,分析比较强制风冷与间接液冷下服务器的散热效果。结果表明,在低负荷下,强制风冷与间接液冷差别不大。在高负荷下,间接液冷的散热效果优于强制风冷。
一、研究背景
随着信息技术的快速发展,尤其是 5G 通信技术的出现,支撑大数据运行的服务器需求不断增长。为保障服务器稳定运行,合适的散热技术显得至关重要。机架式服务器是指按照工业标准可以直接安装在 19 英寸宽机柜中的服务器。目前机架式服务器的主流散热方式为强制风冷和间接液冷。
二、基于强制风冷的服务器散热仿真研究
2.1 仿真边界条件设置
一般情况下,当流体速度小于 1/3 风速时,可将流体看作不可压缩流体,因此可将服务器内部空气视作不可压缩流体。服务器内部一共有 6 颗轴流式风扇,其中电源模块单独有一个轴流风扇冷却。轴流风扇采用吹风散热方式冷却 CPU 和内存,硬盘最靠近进风口,出风口压力设为大气压力,环境温度设为 25℃。
2.2 仿真结果分析
服务器散热效果评价指标有 CPU、内存、硬盘的最高温度。环境温度 25℃,忽略服务器与外界环境的辐射换热,分别对服务器低负荷和高负荷两种状态进行仿真。
低负荷下服务器内部温度云图
高负荷下服务器内部温度云图
从图可以看出,无论是低负荷还是高负荷,服务器内部最高温度出现在 CPU 上,其次是内存的温度较高,而硬盘最靠近进风口,其温度最低。
下表为服务器主要发热部件的温度汇总表。在低负荷状态下,服务器各部件的温度均得到较好的控制,CPU 温度低于长期运行允许的温度值;而在高负荷状态下,CPU 的温度急剧上升,超过峰值允许的温度值。
三、基于间接液冷的服务器散热仿真研究
3.1 机架式服务器液冷仿真模型建立
间接液冷机架式服务器内含电源模块、CPU(两个)、内存、硬盘、液冷板、水泵等部件。
间接液冷机架式服务器简化模型
液冷散热板作为水冷系统的重要组成部分,主要是将发热元器件产生的热量与冷却液充分交换。水冷系统部分如图所示,由IGBT、水冷散热板、铝合金板以及铝条安装件组成
一般情况下,当流体速度小于 1/3 风速时,可将流体看作不可压缩流体,因此可将服务器内部空气以及流道内液体视作不可压缩流体。服务器内部一共有 4 颗轴流式风扇,其中电源模块单独有一个轴流风扇冷却。轴流风扇采用吹风散热方式冷却CPU 和内存,硬盘最靠近进风口,出风口压力设为大气压力,环境温度设为 25℃,液冷板入口流体温度为 25℃。
3.2 仿真结果分析
服务器散热效果评价指标有 CPU、内存、硬盘的最高温度。环境温度 25℃,忽略服务器与外界环境的辐射换热,分别对服务器低负荷和高负荷两种状态进行仿真。
低负荷下服务器内部温度云图
高负荷下服务器内部温度云图
从图可以看出,在低负荷状态时,最高温度出现在内存上,当服务器处于高负荷时,服务器内部最高温度出现在 CPU 上,其次是内存的温度较高,而硬盘最靠近进风口,其温度最低。
下表为服务器主要发热部件的温度汇总表。在低负荷状态下,服务器各部件的温度均得到较好的控制,CPU 温度低于长期运行允许的温度值;在高负荷状态下,CPU 的温度稍有上升,但没超过峰值允许的温度值。与强制风冷相比,间接液冷方式下,内存和硬盘的温度稍有升高,这是因为减少风扇的原因;而 CPU 的温度降低,因为水的导热系数和比热容等远大于空气的导热系数和比热容。因此对于高负荷的服务器,建议采用间接液冷散热方式。
3 蓝海大脑液冷散热服务器
基于蓝海大脑超融合平台的水冷GPU服务器及水冷GPU工作站采用绿色冷却技术,Gluster 分布式架构设计,提供大存储量,拥有开放融合的特性和超能运算的能力。支持多块GPU显卡,提供出色的静音效果和完美的温控系统。借助 NVIDIA GPU计算卡可加快神经网络的训练和推理速度,更快地创作精准的光照渲染效果,提供高速视频、图像、声音等处理能力,加速AI 并带来更流畅的交互体验。
END