基于Blackwell架构的GPU,用七十二个GPU拼接成性能强大的计算集群,其性能比上一代提升三倍,GPU已成为AI时代的基础设施,可实现各种大模型的训练

英伟达在2024年3月发布了基于Blackwell架构的GPU,这一新一代GPU在性能上相比上一代Hopper架构有显著提升。具体来说,Blackwell架构的GPU拥有2080亿个晶体管,采用台积电4纳米工艺制造,其AI性能达到了20 petaflops,是前代H100 GPU的五倍。
基于Blackwell架构的GPU,用七十二个GPU拼接成性能强大的计算集群,其性能比上一代提升三倍,GPU已成为AI时代的基础设施,可实现各种大模型的训练_第1张图片

Blackwell架构通过多芯片封装技术(MCM),将两个GPU集成在一起,从而解决了内存局部性和缓存问题,提高了计算效率和能效比。此外,Blackwell GPU还引入了第五代NVLink互连总线,支持高达1.8TB/s的双向吞吐量,这使得GPU之间的通信更加高效,进一步提升了整体计算能力。
基于Blackwell架构的GPU,用七十二个GPU拼接成性能强大的计算集群,其性能比上一代提升三倍,GPU已成为AI时代的基础设施,可实现各种大模型的训练_第2张图片
基于Blackwell架构的GPU,用七十二个GPU拼接成性能强大的计算集群,其性能比上一代提升三倍,GPU已成为AI时代的基础设施,可实现各种大模型的训练_第3张图片

在实际应用中,使用Blackwell架构的GPU可以显著降低训练大型语言模型的成本和能耗。例如,在GPT-3 1750亿参数任务中,使用Blackwell GPU只需64块GPU即可完成训练,而使用前代Hopper

你可能感兴趣的:(架构,人工智能)