DeepSpeed通过系统优化加速大模型推理

• 原文地址：DeepSpeed: Accelerating large-scale model inference and training via system optimizations and compression
• 原文作者：DeepSpeed Team Rangan Majumder , Vice President Andrey Proskurin , Corporate Vice President of Engineering
• 译文出自：dl_system
• 本文永久链接：DeepSpeed 通过系统优化加速大模型推理
• 译者：harleyszhang，译者对原文有所删改和优化。

一，背景知识

1.1，LLM 应用的难点

1，模型训练时间过长

伴随着 Transformer 结构的提出，后续 LLM 参数开始从亿级到百亿、乃至万亿级增长，与超高速增长到模型参数量相比， GPU 显存的增长实属有限，有数据显示每 18 个月仅翻了 1.7 倍。模型参数量的增长和硬件的显存的增长之间的差距越来越大&#