【视野提升】ChatGPT的系统是如何工作的?

类似ChatGPT的系统是如何工作的?

我们试图在下图中解释它是如何工作的。这个过程可以分为两个部分。

【视野提升】ChatGPT的系统是如何工作的?_第1张图片

训练

要训练一个ChatGPT模型,有两个阶段:

预训练

在这个阶段,我们在大量互联网数据上训练一个GPT模型(仅解码器转换器)。

目标是训练一个模型,该模型可以根据给定的句子预测未来的单词,使其语法正确且语义有意义,类似于互联网数据。

在预训练阶段之后,模型可以完成给定的句子,但它不能回答问题。

微调:

这个阶段是一个三步过程,将预训练的模型转变为一个问答ChatGPT模型:

  • 1). 收集训练数据(问题和答案),并根据这些数据对预训练的模型进行微调。模型将问题作为输入,并学习生成与训练数据相似的答案

  • 2). 收集更多数据(问题、多个答案),并训练一个奖励模型,将这些答案从最相关到最不相关进行排名。

  • 3). 使用强化学习(PPO优化)对模型进行微调,使模型的答案更准确。

回答提示

步骤1:用户输入完整的问题,“解释分类算法是如何工作的”。

步骤2:问题被发送到一个内容审核组件。这个组件确保问题不违反安全准则,并过滤不适当的问题。

步骤3-4:如果输入通过内容审核,它被发送到ChatGPT模型。如果输入未通过内容审核,它会直接进入模板响应生成

步骤5-6:一旦模型生成响应,它再次被发送到内容审核组件。这确保生成的响应是安全的、无害的、无偏见的等

你可能感兴趣的:(视野提升,chatgpt,人工智能,深度学习)