大模型训练的性能指标:吞吐率 Throughput 是指什么?

经常看大模型的论文,特别是Megatron-LM的好几篇论文做了大量的性能对比,各种并行切分的策略。里面有大量的 throughput(吞吐量)。

那么这个throughput 吞吐率或者吞吐量到底值得是什么?怎么去计算的吗?为什么会使用这个指标作为大模型的一个很重要的性能指标。

神经网络的吞吐量(Throughput)定义为网络模型在单位时间内(例如,1s)可以处理的最大输入的训练样本数据。

以下转载自 https://www.zhihu.com/question/596311688/answer/2989554131

你可能感兴趣的:(人工智能,深度学习,机器学习)