Extreme-scale

我们于今年2月份发布了DeepSpeed。这是一个开源深度学习训练优化库，其中包含的一个新的显存优化技术——ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed已经帮助研究人员开发了图灵自然语言生成模型(Turing-NLG)，其在发表时为世界上最大的语言模型（拥有170亿参数），并有着最佳的精度。我们在5月份发布了ZeRO-2——