ChatGPT底层架构Transformer技术及源码实现（五）

ChatGPT底层架构Transformer技术及源码实现（五）
3.5 为何GPT-4才是NLP的真正重大突破？

Gavin大咖微信：NLP_Matrix_Space

2018年6月11日，OpenAI 发布了最初的GPT-1，它是一个拥有1.17亿参数和4.5GB 训练数据文本的NLP 大模型。GPT-4 是OpenAI 最新的大型语言模型，于2023年3月中旬发布，与之前的模型相比，GPT-4有了巨大改进，获得了全球赞誉。
GPT-4是一个大规模的多模态模型，可以接收图像和文本输入并产生文本输出，是一个重要的研究领域，具有广泛应用的潜力，例如对话系统、文本摘要和机器翻译等。GPT-4在人类的各种考试中进行了评估，表现得相当好，得分超过绝大多数人类考生。例如，在模拟律师考试中，GPT-4的分数在考生中排名前10%，这与GPT-3.5分形成鲜明对比，后者排名倒数10%。在传统的NLP基准测试中，GPT-4优于以前的大型语言模型和大多数先进的系统，在MMLU基准上，一套涵盖57个科目的英语多项选择题，GPT-4不仅在英语方面远远超过现有模型，而且在其他语言方面也表现强劲。在MMLU的翻译版本上，GPT-4在26种语言中的24种超过了英语的最先进水平。

GPT-4是NLP真正重大突破的关键技术

多模态涌现能力

涌现能力是指模型在从原始数据中自动学习并发现新的、更高层
次的特征和模式的能力。在大型语言模型（LLMs）中，涌现能力的出现可以被视为模型不断接近人类的关键特征之一。在涌现能力的基础上，模型可以实现更好的常识推理性能