大模型时代和传统机器学习时代工具栈侧重点有所不同

大模型时代和传统机器学习时代工具栈侧重点有所不同

本章从企业训练模型、构建AI赋能应用的工作流视角出发，详解涉及的主要环节，并关注LLMOps和MLOps在流程上的侧重点差异。我们认为AI = Data + Code，历经数据准备、模型训练、模型部署、产品整合，分环节看：

 

► 数据准备：高质量标注数据、特征库需求持续，合成数据或成未来趋势。数据准备无论在传统的MLOps还是LLMOps中都是耗时较久、较为重要的一环。无监督学习降低对标注数据的需求，但RLHF机制体现了高质量标注数据的重要性，我们认为未来超大参数量模型对海量训练数据的需求或由合成数据满足。此外，Data+AI平台厂商卡位关键。

► 模型训练：模型库更加刚需，训练框架持续迭代，软件工具协助实验管理。基于通用的LLM大模型微调、蒸馏出小模型成为高性价比的落地方式，因此需要能够高效便捷地获取预训练模型的模型库；也催生更适应LLM大规模训练需求的底层分布式计算引擎和训练框架。此外，我们认为实验管理工具的重要性或始终较高。