底座（基座）模型是如何训练的？

• 我们把LLM的基本训练步骤分为两步，预训练和对齐；预训练我们非常熟悉，是bert-finetuning时代的基本原理，只不过LLM一般遵循自回归的逻辑，因此使用GPT模型的预训练方式：CLM（具备因果关系的MLM）；预训练帮助我们在海量语料下，通过自监督的方式确定了模型的基本参数，使得模型存储了大量世界知识和逻辑。
• 而为了使预训练模型能够完成chat功能，我们还有第二步：对齐，这也是LLM“显示出智能”的重要一环，对齐又可以分为三步，分别是：SFT，RM和RLHF。