OpenAI的发展史，带着ChatGpt一路狂飙！

刚刚进入2023年开年。ChatGpt一度进热门话题，网络热度飙升。而ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,。OpenAI训练的这个ChatGPT的模型，它以对话方式进行交互。它能够通过学习和理解人类的语言来进行对话,真正像人类一样来聊天交流。目前，OpenAI将ChatGPT免费开放给大众使用，以获取用户的反馈，为后续改进做好准备。

OpenAI

而ChatGPT的到来更令人震惊。作为基于GPT-3.5的对话式AI，ChatGPT最大的特点即是能够“理解”对话者的语义，能够进行更有效的反馈，并进行连续对话。基于对超大规模数据的深度学习，ChatGPT在文本生成领域几乎能“以假乱真”，让你认为其真的拥有了意识。此外，ChatGPT不仅能答疑解惑，还能写故事、作诗，甚至编程，生成内容的能力空前提高，可谓是大放光彩。

要说起OpenAI的发展史，不得不提一下"GAN"：

GAN（生成式对抗网络）的诞生。据说人工智能专家Ian Goodfellow在一次酒后想到了这一深度模型概念，基于CNN（深度卷积神经网络），GAN创造性地将两个神经网络进行对抗，即生成器与鉴别器。生成器用于生成“造假数据”，鉴别器用于判断数据的真伪，在两者的对抗中，逐渐演化出强大的“造假能力”，而这种造假能力则用于图像的合成。

GAN之父Ian Goodfellow，图源网络

GAN被称为21世纪最强大的算法模型之一，Ian Goodfellow也一跃成为AI领域最知名的专家之一。2015年开始，GAN开始被投入实际运用中，相关的论文也爆发式增长，也成为AI生成图像、处理图像任务里最常见的存在。

在GAN大放异彩的2015年，一家公司在美国硅谷成立，其背后站着“钢铁侠”埃隆·马斯克、Y Combinator总裁阿尔特曼、天使投资人彼得·泰尔等一众硅谷大佬，这家公司就是ChatGPT的缔造者——OpenAI。

OpenAI创立的初衷是预防人工智能带来的灾难性影响，推动人工智能发挥积极作用，虽为公司，但OpenAI是一家非营利机构，是马斯克等大佬用爱发电的产物，在创立之初，大佬们投入了10亿美元用于AI的开发。2016年，OpenAI进一步明确了自己的目标，即向AGI（通用人工智能）研究发力，致力于让AI成为改变人类生活的新技术。

OpenAI最大的特点即是“Open”，即开放AI能力，全球研发者都可以通过其提供的开发与研究框架投入AI开发中，共同促进AI技术的发展。也是从2016年开始，OpenAI推出了自己的AI平台Universe。故事轰轰烈烈地开始了。

时间来到2018年，Transformer 架构的发展改变了NLP（自然语言处理）技术的发展，预训练模型的引入改变了一切。GPT系列正是OpenAI在NLP（自然语言处理）领域打造的模型，其第一款产品GPT-1也是在2018年正式推出。GPT-1的独特之处在于“半监督”，在此前的NLP模型中，AI需要基于特定任务对大规模数据集进行学习，而这些数据是需要“监督”的，即人为地对数据进行标注。

基于文本预训练的GPT-1，GPT-2，GPT-3三代模型都是采用的以Transformer为核心结构的模型（图1），不同的是模型的层数和词向量长度等超参。

GPT-1则可以在开始进行无监督学习的预训练，通过对数据的学习增强语言能力，最后进行部分有监督的微调。简单来说，GPT-1可以用更少的资源和数据进行更具效率的学习，但GPT-1仍旧是青涩的，一方面碍于训练数据的有限，AI的“世界观”很有限，另一方面其性能仍旧不够好，远远达不到对话的能力。

下面小编就是GPT-1 - GPT-3的预训练模型量。

表1：历代GPT的发布时间，参数量以及训练量

模型	发布时间	层数	头数	词向量长度	参数量	预训练数据量
GPT-1	2018 年 6 月	12	12	768	1.17 亿	约 5GB
GPT-2	2019 年 2 月	48	-	1600	15 亿	40GB
GPT-3	2020 年 5 月	96	96	12888	1,750 亿	45TB

2020年是翻天覆地的一年。彼时，OpenAI推出了GPT-3，相比前两代，这一次GPT实现了进化，GPT-3的参数超过1750亿个，是人脑神经连结的十分之一，与此同时GPT-3的性能也更强，它能够识别更深层次的文本含义，并进行反馈。GPT-3的推出是一场革新。ChatGPT是InstructGPT的兄弟模型，它经过训练可以按照提示中的说明进行操作并提供详细的响应。

与此同时，在图像生成领域，一场革命也在发生。尽管GAN已经能生成较高质量的图片及内容，但相较来说，其效率较低，同时生成的图像始终难以令人满意。而Transformer架构的出现改变了一切，自此开始，图像合成领域告别了GAN时代，NLP与计算机视觉技术搭配的新时代来临了。