NVIDIA GPU加速AI落地，潞晨科技Colossal-AI助力大模型普适化

通过 NVIDIA GPU 加速平台，Colossal-AI 实现了通过高效多维并行、异构内存管理、大规模优化库、自适应任务调度等方式，更高效快速部署 AI 大模型训练与推理。

AI 大模型的高门槛成为研发一大难题

近年来，AI 模型已从 AlexNet、ResNet、AlphaGo 发展到 BERT、GPT、MoE…随着深度学习的兴起及大模型横扫各大性能榜单，AI 能力不断提升的一个显著特征是模型参数的爆发式增长，这也使得训练模型的成本急剧上升。目前最大的 AI 模型智源悟道 2.0 参数量达到 1.75 万亿，前沿 AI 模型的大小在短短几年内便已增大万倍，远超硬件数倍的缓慢增长，模型大小也远超单个 GPU 的容纳能力。

由于单台机器的能力已远远无法满足日益增长的 AI 训练需求，即便是超级计算机，也面临着当硬件堆砌到达一定数量后，效率无法进一步提升的瓶颈，浪费了大量计算资源。而分布式并行也与单机情况差异巨大，通常需要计算机系统和体系结构相关的专业人员，这进一步提高了训练和部署成本。

此外，PyTorch、TensorFlow 等现有深度学习框架也难以有效处理超大模型，通常需要专业的 AI 系统工程师针对具体模型做适配和优化。更重要的是，不是每一个研发团队都具备 “钞” 能力，能够随时调用大规模 GPU 集群来使用大模型，更不用提仅有一张显卡的个人开发者。因此，尽管大模型已经吸引了大量关注，高昂的上手门槛却令大众 “望尘莫及”。

NVIDIA GPU 加速——潞晨科技 Colossal-AI 大模型开发进程

Colossal-AI 基于 NVIDIA GPU A30，为 AI 大模型的普适化做出了一系列贡献：

1、提升 AI 大规模并行效率

对于 GPT-3 等超大 AI 模型，仅需一半资源启动训练，或通过高效并行加速，降低训练成本超百万美元。在训练 ViT 模型时，可以扩大 14 倍的 batch size，加快 5 倍的训练速度；对于 GPT-2 模型，我们可以降低 11 倍的内存消耗和超线性扩展，训练加速 3 倍，模型大小可扩展至 24 倍；对于 BERT 模型，可训练加速可达两倍以上。

2、扩大硬件 AI 模型容量

在单个 GPU 上对于训练任务，可提升模型容量十余倍，将 GPU 训练 GPT-2 和 PaLM 等前沿模型的参数容量提升数十倍。

3、丰富 AI 大模型行业落地

在产品发布的数个月内，潞晨科技已与数十家行业标杆企业建立深度合作，客户涵盖中、美、英、新等全球市场，涉及云计算、芯片设计、生物医药、自动驾驶、智能零售等领域。例如，潞晨方案将 GPU 优化和大规模并行技术引入 AlphaFold 的训练和推理，成功将 AlphaFold 总体训练时间从 11 天减少到 67 小时，且总成本更低，在长序列推理中也实现 9.3 ∼ 11.6 倍提升。Colossal-AI 团队还助力百图生科开源全球最快的复合物结构预测模型，可同时支持蛋白质单体与复合物结构预测，将原有推理速度提升约 11 倍。

目前，在 NVIDIA GPU 出色的 AI 加速性能加持下，Colossal-AI 已成功应用在诸多领域，显著缩短 AI 大模型开发和部署流程，降低 AI 大模型落地成本。

NVIDIA GPU 产品助力——潞晨科技 Colossal-AI 大模型落地与推广

NVIDIA GPU 产品与 Colossal-AI 的合作，极大地提升了 AI 大模型的训练与推理流程，显著提升了用户体验，为 AI 大模型的落地与推广做出了重要贡献。

借助 Colossal-AI 与 NVIDIA GPU 产品，对于企业用户，可将现有项目便捷扩展到大规模计算集群，使用高效并行技术，以低成本快速完成 AI 大模型的开发部署。对于计算资源有限的普通用户，也能训练百亿参数的大模型，相比现有主流方案，可提升参数容量十余倍，降低了 AI 大模型微调和推理等下游任务和应用部署的门槛。

潞晨科技致力于将软件系统设计与硬件架构深度融合，实现一体化、智能化、自动化的人工智能计算服务。NVIDIA 初创加速计划为我们提供了技术支持、市场宣传、业务对接等一列的支持。潞晨科技也参加了 2022 NVIDIA 初创企业展示活动，并进入了最终展示，借此获得了更多生态关注。

NVIDIA GPU 产品作为 Colossal-AI 算力基础，本次双方的深化合作将促进潞晨科技与 NVIDIA 共同探索 GPU 如何更有效地应用在训练和推理 AI 大模型中，为 GPU 硬件与 Colossal-AI 软件系统的共同进步打下良好基础。双方将共同努力推动 AI 大模型的普世化进程，不断解放和发展 AI 生产力。

——潞晨科技创始人尤洋博士

关于潞晨科技

潞晨科技主营业务包括分布式软件系统，大规模人工智能平台和企业级云计算解决方案。公司旨在帮助企业最大化人工智能部署效率的同时最小化部署成本。其核心产品面向大模型时代的通用深度学习系统 Colossal-AI，涵盖高效多维自动并行、异构内存管理、大规模优化库、自适应任务调度等自研技术，可高效快速部署 AI 大模型训练和推理，兼容低端设备，显著缩短 AI 大模型训练和推理时间、降低训练和推理成本，减少学习和部署的人力成本。