4月12日,微软宣布开源了Deep Speed Chat,帮助用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT!(开源地址:https://github.com/microsoft/DeepSpeed)
据悉,Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成,具备训练、强化推理等功能,还使用了RLHF(人工反馈机制的强化学习)技术,可将训练速度提升15倍以上,成本却大幅度降低。例如,一个130亿参数的类ChatGPT模型,只需1.25小时就能完成训练。
简单来说,用户通过Deep Speed Chat提供的“傻瓜式”操作,能以最短的时间、最高效的成本训练类ChatGPT大语言模型,这标志着一个人手一个ChatGPT的时代要来了。
,时长03:12
产品演示
微软为什么开源Deep Speed Chat
ChatGPT只用了几个月的时间便席卷全球,成为史上用户增长速度最快的消费级应用,对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中,但由于庞大的资源、资金投入只能望而却步。
即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目,仍缺乏一个支持端到端的基于RLHF的规模化系统,使得训练强大的类ChatGPT模型非常艰难。
例如,使用上述开源项目训练一个67亿参数的类ChatGPT模型,通常需要昂贵的多卡至多节点的GPU集群,但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。
即便是拥有这样的资源,现有的开源系统的训练效率通常还不到,这些机器所能达到的最大效率的5%。
现在,通过Deep Speed Chat解决资源、算法等难题,轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。
Deep Speed Chat技术简单介绍
ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式,这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在,通过Deep Speed Chat可以突破这些训练瓶颈,达到最佳效果。
Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。
简化 ChatGPT 类型模型的训练和强化推理:只需一个脚本即可实现多个训练步骤,包括使用Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤,生成属于自己的类ChatGPT模型。此外,还提供了一个易于使用的推理API,用于在模型训练后测试对话性能。
Deep Speed-RLHF 模块:DeepSpeed-RLHF 复刻了InstructGPT 论文中的训练模式,并确保包括:a) 监督微调(SFT),b) 奖励模型微调和 c) 基于人类反馈的强化学习(RLHF)在内的三个步骤与其对应。此外,还提供了数据抽象和混合功能,以支持用户使用多个不同来源的数据源进行训练。
DeepSpeed-RLHF系统:将DeepSpeed的训练和推理能力整合到统一的混合引擎(DeepSpeed Hybrid Engine or DeepSpeed-HE)中用于RLHF 训练。DeepSpeed-HE 能够在RLHF中无缝地在推理和训练模式之间切换,使其能够利用来自 DeepSpeed-Inference 的各种优化。
例如,张量并行计算和高性能CUDA算子进行语言生成,同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE可以自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
此外,Deep Speed Chat在成本、效率、扩展性等方面非常优秀。
高效且节省成本:在Azure云上只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。
卓越扩展性:能够支持训练拥有数千亿参数的模型,并在多节点多 GPU 系统上展现出卓越的扩展性。因此,即使是一个拥有 130 亿参数的模型,也只需 1.25 小时就能完成训练。而对于拥1750亿参数的模型,使用Deep Speed Chat进行训练也只需不到一天的时间。
注意:在Azure上训练时由于GPU不同,所以训练时间和费用也各不相同。
全民ChatGPT时代来了
做个不太恰当的比喻,微软此次开源Deep Speed Chat就像当年的互联网,为了提升发展速率降低了台式机的价格,使得普通用户也能拥有自己的电脑。
只有参与的用户多了,整个行业生态才能快速壮大发展,所以,微软此次开源对整个ChatGPT生态发展起到了至关重要的推动作用,使得人人都能拥有自己的ChatGPT。
目前,ChatGPT处于初级发展阶段,存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多,这些难题将会被有效的解决,从而为全球经济发展做出贡