GPT-4概述

写在前面

前面我们介绍了《了解chat-GPT必须要读的论文汇总》，感兴趣的读者可以沿着x-mind中的论文顺序阅读。

前沿：

We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting
image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks.
我们创建了 GPT-4，这是 OpenAI 在深度学习上拓展的最新里程碑。 GPT-4 是一个大型多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上表现出人类水平的表现。

这个是OpenAI官网针对GPT-4的开头介绍，敢这么介绍，足见GPT-4的重要性。之前chat-GPT问世就引起的强烈的反响，感觉未来的工作、生活和娱乐形态可能要被颠覆，现在GPT-4出来，又一次引起了巨大的反响。好评度甩开chat-GPT好几条街。那GPT-4究竟有哪些惊艳之处呢，今天我们就来聊一聊GPT-4。

GPT-4整体概览

GPT-4和chat-GPT一样，没有发表论文，而是以报告的形式与大众见面。报告长达99页。阅读报告可分为三个部分，第一部分为GPT-4的正文报告；第二部分为各种实验等相关附录；第三部分为GPT-4 System Card

GPT-4报告正文

报告正文中指出了GPT-4是多模态模型，支持文本和图像的输入，输出目前支持文本。GPT-4在各个专业和学术的基准测试中表现出惊人的水平，达到top10%的水平，在与上一个版本GPT3.5的对比中，更是完虐。当然报告中也指出了GPT-4在很多的现实场景中能力不如人类。整个报告分7个部分：1）先总结介绍(摘要)，2）接着说明该技术报告介绍的大致内容和局限，然后对摘要中提出的可预测规模表现进行阐述，继续对GPT-4具备的能力( Capabilities)展开介绍，GPT-4的局限(Limitations)也是需要面临的问题，当然，GPT-4面临的风险和缓解措施(Risks & mitigations)是落地应用必须要考虑的问题，最后总结和感谢(参与者列表好长)，中文摘要如下：

我们报告了 GPT-4 的开发，这是一种大规模的多模式模型，可以接受图像和文本输入并产生文本输出。虽然在许多现实场景中的能力不如人类，但GPT-4 在各种专业和学术基准测试中表现出人类水平的表现，包括通过模拟律师考试，得分在应试者的前 10% 左右。 GPT-4 是一种基于Transformer的模型，经过预训练可以预测文档中的下一个标记。训练后的对齐过程会提高真实性和遵守所需行为的措施性能。该项目的核心组成部分包括可在广泛范围内预测规模表现的基础设施和优化方法。这使我们能够基于不超过GPT-4 计算量的万分之一的训练模型准确预测 GPT-4某些方面的性能。

GPT-4附录

附录部分主要是详细展开介绍了报告中的实验，并进一步给出实验数据说明。包括A）测试的基准方法说明；B）基于人类反馈的增强学习(RLHF)技术对GPT-4能力上的影响；C）对专业和学术考试的影响(Contamination翻译成污染感觉不合适)；D)学术基准的影响； E) GSM-8K数据集上GPT-4中训练的影响；F) 多语言的翻译实验介绍；G) GPT-4视觉输入的例子介绍。

GPT-4 System Card

这部分的内容大篇幅的介绍了其在安全性方面做的努力，这对增强大模型落地非常重要。对于大公司而言，大众对其发布的产品存在的负面影响往往会放大，稍有不慎就可能导致产品的下线，所以在安全性和合规性上必须下大功夫，避免出现一些对社会产品负面影响的事件发生，以及在特定领域的合理应用。该部分的中文摘要如下：

大型语言模型 (LLM)正在我们生活的许多领域中部署，从浏览器到语音助手再到编码辅助工具，具有广泛的社会潜力。本系统卡分析GPT-4，GPT家族中最新的LLM。首先，我们强调模型的局限性带来的安全挑战(例如产生令人信服的微妙虚假的文本)和能力(例如提高熟练度提供非法建议、军民两用能力的表现以及冒险的紧急行为)。其次，我们对 OpenAI 用于准备 GPT-4的安全流程进行了高度概述用于部署。这涵盖了我们的工作，包括测量、模型级别的更改、产品和系统级干预（例如监测和政策），以及外部专家的参与。最后，我们证明虽然我们的缓解措施和流程改变了GPT-4 的行为并且防止某些类型的误用，但它们是有限的并且在某些情况下仍然很脆弱。这一点需要预先规划和治理。

总结：这里先总结性的介绍了GPT-4的报告，大致对报告的内容和介绍的方向有一个整体的把握。后续展开介绍其具体内容。

参考文献

GPT-4
gpt-4-system-card