超越 ChatGPT，GPT-4 将成为下一个“顶流”？

出品人：Towhee 技术团队

从2022年底开始预热，智能对话机器人 ChatGPT （即 GPT 3.5）成功地又一次掀起了人工智能的热潮。除了AI 相关的从业者以外，如今 ChatGPT 已是家喻户晓。就在美国东部时间 3月14日，其所属公司 OpenAI 热打铁又推出了 GPT-4：比 ChatGPT 更靠谱、更听话、更有创造力、更接近（甚至超过）人类。根据来自各种项目（比如 ChatGPT）的反馈，OpenAI 在 GPT3.5 的基础上进行了不断的迭代。耗时六个月终于在 GPT-4 中实现了前所未有的结果，在真实性、可操纵性、拒绝超范围上都达到了历代最优秀的表现。除了在自然语言的理解能力上有了显著提升，GPT-4 还能够理解图像。目前只有少数获邀用户能够“尝鲜” GPT-4 的对话功能，而图像输入尚未对外开放。

在过去的两年中，OpenAI 重建了他们的整个深度学习堆栈，并携手 Azure 共同设计了一个超级计算机承载模型开发。如果说 GPT-3.5 是该系统的第一个“测试产品“， GPT-4 则是进一步修复错误和改进理论基础后诞生的“最新作品”。OpenAI 认为这是他们目前最稳定、最优秀的大模型。GPT-4 是一个大规模的多模态模型，能够接收图像和文本两种输入，在理解输入的数据后生成并返回文本回复。尽管 GPT-4 在现实生活中的能力受限，但它作为自然语言模型已经展现出了惊人的“智力”。官方报告声称他们仅用不超过千分之一的计算量训练了模型，就准确地预测 GPT-4 在各方面的性能。该报告表示 GPT-4 能够在各种专业的学术测试中展现出近乎人类的水平。它甚至通过了人类的律师考试模拟测试，成绩名列前 10%！（而ChatGPT 的成绩大约是倒数10%。）

GPT performance on academic and professional exams

GPT-4 的本质是一个使用大规模数据预训练的 GPT 模型。该模型基于 Transformer 结构，采用了最常见的 NLP 预训练任务之一，即预测文本中的下一个单词。而能够使 GPT 能力更上一层楼的重要步骤，是在训练之后使用 RLHF（人类反馈强化学习）方法进行额外的调整。观察 GPT 系列之前的表现，尤其面对不安全的输入时，RLHF 似乎不足以获得稳定良好的反馈。除此以外，当出现奖励模型收集数据时未曾使用的指令时，模型也可能会出现预期以外的不良行为。为此，GPT-4 加强了对模型自身的依赖，从而将模型引导到更细粒度的适当行为。这种针对安全的方法包括两个主要部分：在RLHF训练中额外引入一组与安全相关的提示、以及基于规则的奖励模型 (RBRM)。

RBRMs 其实是一组零样本迁移的 GPT-4 分类器，为 GPT-4 的策略模型提供额外的奖励信号。它们能够协助 RLHF 在微调时引导模型产生正确的行为，比如拒绝生成有害内容、接收无害请求等。RBRM 有三个输入：可选择性输入的提示、来自策略模型的输出、以及人为制定的评价标准。该奖励模型会根据制定的标准指引模型将回复分为四类：直接拒绝、隐晦拒绝（比如回避或顾左右而言他）、回复包含不允许的内容、安全的回应。然后根据安全相关的提示，当模型成功拒绝有害内容的请求时给予其奖励。同样，如果请求的内容根据提示确认为安全，奖励模型不拒绝此类安全请求。这种分类和奖励机制与其他改进相结合，能够更好地引导模型接近目标行为。

GPT-4 进行了模型级干预，增加了引发不良行为的难度，大幅减少了不良行为产生的可能性。然而，官方报告同时也指出这依然无法保证模型能够百分之百遵守规则。针对 GPT-4 和其后续模型有可能对社会产生的重大影响和其各种潜在的危险能力，OpenAI 正在与外部研究人员合作，以尽快寻找并推荐应对方案。

Combining GPT-4 & Stable Diffusion

除了官方资料外，最近有一篇由业内诸多顶尖“大佬”联名发布的论文 Sparks of Artificial General Intelligence: Early experiments with GPT-4 也引起了广泛的关注。该论文认为 GPT-4 使用了空前的计算资源和数据进行训练，是一种新型的大语言模型（LLM）。在他们的早期实验中，GPT-4 表现出了前所未有的通用智能。它能够在数学、编程、视觉、医学、法律、心理学等领域中解决或新颖或困难任务的能力，其水平接近甚至超过了人类水平。因此，GPT-4 可被视作通用人工智能的早期版本。不过论文也表明 GPT 系列存在一些实质性缺陷难以被克服，比如逻辑推理问题等，被认为是Transformer 模型使用预测下一个词的训练范式时所固有的问题。即使有研究指出一步步地指引能够改善 GPT 系列模型的行为，却无法从根本上解决问题。总的来说，作者们在测试 GPT-4 的各种能力时，也强调了探索 GPT-4 局限性的重要，讨论了社会舆论对科技发展的影响、以及人工智能面临的挑战和研究方向。

相关资料：

• 项目地址：GPT-4

• 相关论文：

  • GPT-4 Technical Report
  • Sparks of Artificial General Intelligence: Early experiments with GPT-4