[译]OpenAI的出色得令人惊讶的新语言生成模型GPT-3是个彻头彻尾的没头脑

这个AI(指GPT-3)是有史以来最大的语言模型,它能根据需求产出看起来就像是人书写的文本,但并不能让我们更接近真正的人工智能。
----Will Douglas Heaven

一位位于圣弗朗西斯科的开发者兼艺术家Arram Sabeti上周在推特上写道:“玩GPT-3让人感觉看到了(人工智能)的未来”。

OpenAI于5月份首次在一篇研究论文里叙述了GPT-3。但上周OpenAI开始逐步向一些请求测试并被选中的用户开放GPT-3的使用。目前,OpenAI希望外界开发者能帮助他们探索GPT-3能做什么,OpenAI计划之后将GPT-3商业化,通过可订阅云服务为商业提供AI能力,时间点在年内。

GPT-3是有史以来最强力的语言模型。去年发布的GPT-3的前任GPT-2,有能力根据输入的文本生成让人觉得是人写的一连串文本。但GPT-3是一个更大的进步,这个模型有1750亿训练参数,而GPT-2相比之下只有15亿。对于语言模型来说,模型大小确实对其性能有影响。

Sabeti给出一个他用来炫耀的blog链接,blog里有他的短文、诗歌、新闻稿、技术手册等他用GPT-3创造的文本。GPT-3甚至能刻意模仿特定的作者,写出作品。Mario Klingemann,一位工作中用到机器学习的艺术家,分享了一个短篇“在推特上生活的重要性”,内容是“伦敦人民依然感兴趣的、最近还继续存在的社交生活是推特,这是个奇怪的事实。该事实令我印象深刻,当我去海边渡过我的定期休假时,我发现海边鸟叫声多得像个鹦鹉笼”(Twitter首字母大写,特定名词推特,twitter首字母小写,正常词语鸟叫声),该短篇是模仿Jerome K. Jerome的风格写的。Klingemann表示他只向GPT-3输入了标题、
作者名以及初始词语“It”。(这个)链接甚至有一篇完全用GPT-3写的关于GPT-3的资料文章,看起来合乎逻辑。

其他人发现,GPT-3可以生成任何种类的文本,包括吉他琴谱和代码。比如,微调GPT-3,GPT-3就能生成HTML而不是自然语言文本。网页开发者Sharif Shameem展示,他可以通过向GPT-3输入“一个像西瓜一样的按钮”或者“红色的大文本‘欢迎来到我的新闻稿’以及名为‘订阅’的蓝色按钮”,来让GPT-3生成网页布局。即使是开创性地将3D图形学应用于像Doom这样的电子游戏、如今的Oculus VR首席咨询技术官、传奇程序员John Carmack也心神不宁地表示:“最近几乎是意外地发现GPT-3在某种程度上可以写代码,(这件事)确实带来了一些震撼。”

但无视其最新的戏法,GPT-3依然倾向于生成有害的性别歧视或者种族歧视文本。在GPT-2上,微调可以减少此类文本的产出。

并不令人意外地,很多人很快就开始谈论人工智能。然而,GPT-3那宛如真人书写的文本输出以及令人惊讶的多才多艺是出色的工程的结果,而不是真正的智能。首先,(GPT-3这个)AI依然会出现愚不可及的错误,这种错误表明,GPT-3完全没有常识。即使是GPT-3的成功之处也缺乏深度,因为GPT-3的训练,多数像是复制粘贴,而不是原创文本。

确切来说,GPT-3是个黑盒子,人们并不知道其推理过程。GPT-3表现好的地方在于,它按照需求,以有趣的方式,根据数以亿计从网络中收集到的浩瀚多样的文本片段来合成文本。

这不是在贬低OpenAI取得的成就。一个像GPT-3一样的工具有很多新用处,无论好(从让聊天机器人更好到帮人写代码)还是坏(从让聊天机器人提供错误信息到让孩子在作业里作弊)。

但是AI里程碑往往会毁于过分的炒作。即使是和Elon Musk一起创建了OpenAI的Sam Altman也希望降低GPT-3的(炒作)热度:“GPT-3被过分吹捧了。GPT-3(的成就)令人映像深刻,但其依然有严重的缺陷,会犯愚蠢浅显的错误。AI已准备好改变世界,但GPT-3只是(其中)很早期的(让我们看到的)一眼。(关于AI)我们还有很多要发掘的。”

对于看起来像是人工智能的人工智能,我们的标准很低。我们很容易被那些看起来很聪明的东西欺骗。AI说过的最大的谎言,就是说服世人,AI是存在的。GPT-3是人工智能的一个巨大的进步,但它依然是人工制作的有缺点和限制的工具。

你可能感兴趣的:(深度学习,自然语言处理)