GPT-3：一个新应用生态系统诞生了

「某个应用程序用2个基于GPT-3的机器人相互辩论。这是YouTube用户 Bakz T. Future剖析的14个GPT-3应用程序之一。」

GPT-3以其庞大的规模成为OpenAI令人印象深刻的自然语言处理（NLP）模型。Transformer encoder-decoder模型之间由超过1,750亿个被称为参数的单词之间的加权值连接，将其15亿个参数的前身GPT-2打的落花流水。您只要输入要执行的任务的几个示例，该模型就能够生成令人惊奇的类似于人类撰写的文本。

它于2020年发布时占据了头条新闻。人们争先恐后地排队，以期访问OpenAI的云服务上托管的API。现在，在过了几个月之后，随着越来越多的用户（包括我自己）获得了API的访问权限。每天都会出现新的有意思的应用程序和用户案例。例如，Debuild.co上有一些非常有趣的演示，您可以在其中通过使用简单的英语给程序输入一些简单的说明来构建应用程序。

经过广泛的报道，GPT-3是否会成为NLP应用生态系统赖以生存的基石，或者还会有新的更强大的NLP模型脱颖而出，依然是个问题。为适应企业设想和设计NLP应用程序的需要，这里介绍一下GPT-3及其潜在的生态系统。

GPT-3和NLP军备竞赛

正如我过去描述的那样，实际上有两种预训练NLP模型的方法：通用NLP模型和非通用NLP模型。

非通用的方法具有与已知用例相符的特定预训练目标。基本上，这些模型更为深入而且更小巧。训练数据更为聚焦，而非采用海量数据集。Google的PEGASUS模型就是一个例子。该模型专门为生成文本摘要而构建。PEGASUS在与预期目的非常相似的数据集上进行了预训练。然后在文本摘要数据集上进行微调，从而提供了更好的结果。非通用方法的好处在于，它可以显着提高特定任务的准确性。而且也比通用模型灵活得多，但仍需要大量训练示例才能获得准确性。

相比之下，通用的方法应用范围很广。这是因为GPT-3的1,750亿个参数在起作用，并且基本上是在整个Internet上进行了预训练。这使GPT-3只需执行几个示例就可以执行任何NLP任务，尽管其准确性并不总是很理想。实际上，OpenAI团队强调了通用预训练的局限性，甚至认为GPT-3在“文本合成方面存在明显的弱点”。

OpenAI认为在精度问题上，模型越大越好。竞争对手已经注意到模型的每个版本都将参数数量增加几个数量级。Google研究人员最近发表了一篇论文，重点介绍了具有1.6万亿个参数的Switch Transformer NLP模型。这个疯狂的数字可能意味着我们将看到一场通用模型的军备竞赛。虽然这两个通用模型已经很大了，别忘了微软还拥有170亿个参数的Turing-NLG，且可能也希望加入军备竞赛。当您认为训练GPT-3花费OpenAI高至1200万美元时，军备竞赛可能会导致模型训练费用变得更加昂贵。

有前途的GPT-3应用

从应用程序生态系统的角度来看，GPT-3的灵活性使其具有吸引力。您可以使用它来完成您可以用语言想象的任何事情。可以看到的是，初创公司已经开始探索使用GPT-3为下一代NLP应用程序提供动力。这个链接是Cherry Ventures的Alex Schmitt编写的很有意思的GPT-3产品列表。

这些应用程序中有许多是面向消费者的，例如“情书生成器”，但是还有更多的技术应用程序，例如“ HTML生成器”，是面向企业的。当企业考虑如何以及在何处将GPT-3纳入其业务流程时，医疗保健，财务和视频会议会是其中最有希望的早期使用案例。

对于医疗，金融服务和保险行业的企业来说，减少研究人员的工作量是一项巨大的需求。这些领域中的数据呈指数增长，面对这种增长高峰，要保持行业中的领先地位变得异常困难。基于GPT-3的NLP应用程序可以抓取最新的报告，论文，结果等，并根据上下文总结主要观点，从而节省研究人员大量宝贵时间。

随着在新冠疫情大流行，视频会议和远程医疗变得越来越重要，我们已经看到用于视频会议的NLP工具的需求快速增长。GPT-3提供了不仅是编写单个会议的脚本和做笔记的能力，而且还可以生成“太长；无需阅读”的摘要。

企业和初创企业如何建立竞争壁垒

尽管有这些令人鼓舞的用例，但GPT-3应用程序生态系统的主要障碍是模仿者可以轻松复制使用GPT-3的API开发的任何应用程序。

使用GPT-3的API的每个人都将获得针对相同数据进行预训练的相同NLP模型，因此唯一的区别是企业利用它来精调数据以适用于专门化用例。您使用的数据调整得越精细，越能显示出结果的与众不同也越精致。

这是什么意思？拥有比竞争对手更多的用户或更多数据的大企业将更好地利用GPT-3提供的服务。GPT-3不会导致颠覆性的创业公司。但凭借现有的优势，它将允许企业和大型企业优化其产品。

这对企业和初创公司发展意味着什么？

使用GPT-3的API构建的应用程序才刚刚开始触及可能的用户案例。我们尚未看到开发出有趣的概念验证的生态系统。这样的生态系统如何挣钱和成熟发展仍然是一个悬而未决的问题。

在这种情况下进行差异化需要进行微调，所以我希望企业在某些NLP任务中采用GPT-3的通用化模型，而对于更具体的NLP任务则使用非通用模型（例如PEGASUS）。

此外，随着大型NLP参与者之间参数数量的指数增长，我们可以看到用户在生态系统之间的转移，取决于竞争中谁处于领先地位。

无论GPT-3应用程序生态系统是否成熟，或者是否已被其他NLP模型所取代，企业都应该对创建高度有效的NLP模型变得相对容易而感到兴奋。他们应该探索用例，并考虑如何利用市场中的地位来快速改善客户用户体验，并增强业务流程。

原文链接：https://venturebeat.com/2021/02/27/gpt-3-were-at-the-very-beginning-of-a-new-app-ecosystem/

- End -