大语言模型:LLM的概念是个啥?

一、说明

    

        大语言模型(维基:LLM- large language model)是以大尺寸为特征的语言模型。它们的规模是由人工智能加速器实现的,人工智能加速器能够处理大量文本数据,这些数据大部分是从互联网上抓取的。 [1]所构建的人工神经网络可以包含数千万到数十亿的权重,并使用自监督学习和半监督学习进行(预)训练。 Transformer 架构有助于加快训练速度。[2]替代架构包括专家混合(MoE),它是由 Google 提出的,从 2017 年的稀疏门控架构开始,[3] 2021 年的 Gshard[4] 到 2022 年的 GLaM。 

        作为语言模型,它们的工作原理是获取输入文本并重复预测下一个标记或单词。[6]到 2020 年,微调是模型能够完成特定任务的唯一方法。然而,较大尺寸的模型,例如 GPT-3,可以通过快速设计来实现类似的结果。 [7]他们被认为获得了人类语言语料库中固有的语法、语义和“本体论”的具体知识,但也获得了语料库中存在的不准确和偏见。 [8]

二、度量尺度演进史

        在17世纪初,一位名叫埃德蒙·冈特(Edmund Gunter)的数学家和天文学家面临着前所未有的天文学挑战。计算行星的复杂运动和预测日食需要的不仅仅是直觉——它需要掌握复杂的对数和三角方程。因此,就像任何精明的创新者一样,冈瑟决定从头开始构建它!他创造了一种模拟计算设备,最终成为所谓的计算尺。

        计算尺是一个长30厘米的矩形木块,由两部分组成:固定框架和滑动部分。固定框架容纳固定对数刻度,而滑动部分容纳可移动刻度。要使用计算尺,您需要了解对数的基本原理以及如何对齐乘法、除法和其他数学运算的刻度。您必须滑动可移动部分以对齐设置数字,读取结果并考虑小数点放置。哎呀,这真的很复杂!

大语言模型:LLM的概念是个啥?_第1张图片 计算尺

        大约300年后,贝尔潘奇公司于1961年推出了第一台电子桌面计算器“ANITA Mk VII”。在接下来的几十年里,电子计算器变得更加复杂,具有附加功能。以前需要大量手动计算的工作大大减少了工时,使员工能够专注于工作中更具分析和创造性的方面。因此,现代电子计算器不仅重塑了工作角色,还为提高解决问题的能力铺平了道路。

计算器是数学完成方式的一步变化。语言呢?

三、语言度量才刚刚开始

        想想你是如何生成句子的。你首先需要有一个想法。接下来,你需要知道一堆单词(词汇)。然后,您需要能够将它们放在适当的句子(语法)中。啧,又是相当复杂的!

        我们生成语言单词的方式可以追溯到50万年前,也就是现代智人首次创造语言的时候。

公平地说,我们仍然处于冈瑟在生成句子时使用计算尺的时代!

        如果你考虑一下,使用适当的词汇和语法基本上只是遵守规则。语言规则。

        这类似于数学。它充满了规则。因此,为什么我可以确定 1+1=2 以及为什么计算器有效!

我们需要的是一个计算器,但对于文字!

        是的,不同的语言遵循不同的规则,但需要遵循一些规则才能理解。语言和数学之间的一个明显区别是,数学有固定的答案,而一个句子中可以容纳的合理单词的数量可能很大。

        尝试完成以下句子:我吃了一个________。想象一下接下来可能出现的单词。英文大约有1万个单词。其中很多都可以在这里使用,但绝对不是全部。

        回答“黑洞”相当于说2+2=5。此外,回答“苹果”也不准确。为什么?因为语法!

大语言模型:LLM的概念是个啥?_第2张图片

        在过去的几个月里,大型语言模型(LLM)风靡全球。一些人称其为自然语言处理的突破,而另一些人则将其视为人工智能(AI)新时代的曙光。

        LLM已被证明非常擅长生成类似人类的文本,提高了基于语言的AI应用程序的标准。凭借庞大的知识库和上下文理解,LLM可以应用于各个领域,从语言翻译和内容生成到虚拟助手和客户支持聊天机器人。

问题是:我们目前是否处于LLM的拐点,就像我们在1960年代使用电子计算器一样?

        在我们回答这个问题之前,LLM是如何工作的?LLM基于转换器神经网络,用于计算和预测接下来最适合的单词。要构建一个强大的转换器神经网络,您需要在大量的文本数据上对其进行训练。这就是为什么“预测下一个单词/标记”方法如此有效的原因:有很多容易获得的训练数据。LLM将整个单词序列作为输入,并预测下一个最有可能出现的单词。为了了解接下来最有可能发生的事情,他们吞下了所有的维基百科作为热身练习,然后转向成堆的书籍,最后是整个互联网。

        我们之前已经确定语言包含规则和模式。该模型通过遍历所有这些句子隐式学习这些规则,它将使用这些句子来完成预测下一个单词的任务。

大语言模型:LLM的概念是个啥?_第3张图片 深度神经网络

        在单数名词之后,下一个单词是以“s”结尾的动词的可能性增加。同样,在阅读莎士比亚时,看到“doth”和“wherefore”等词的机会也会增加。

        在训练过程中,模型用语言学习这些模式,最终成为专家!

但这够了吗?学习语言规则就够了吗?

大语言模型:LLM的概念是个啥?_第4张图片 语言很复杂,一个词可能根据上下文意味着多种事物。

        因此,自我关注。简单来说,自我注意是LLM用来理解句子或一段文本中不同单词之间关系的一种技术。就像你关注故事的不同部分来理解它一样,自我关注允许LLM在处理信息时更加重视句子中的某些单词。这样,模型可以更好地理解文本的整体含义和上下文,而不是仅仅根据语言规则盲目地预测下一个单词。

大语言模型:LLM的概念是个啥?_第5张图片 自我注意机制

如果LLM是单词的计算器,只是预测下一个单词,它如何回答我所有的问题?

        当你要求一个大型语言模型做一些聪明的事情——而且它有效——你很有可能要求它做一些它已经看到数千个例子的事情。即使你想出了一些非常独特的东西,比如:

“给我写一首关于逆戟鲸吃鸡的诗”

在海浪中,一个看不见的景象,一只逆戟鲸捕猎,迅速而敏锐,在海洋领域,舞蹈开始,作为鸡的命运,逆戟鲸获胜。

它用强大的下颚撞击猎物,羽毛漂浮,漂流,以自然的方式,编织一个故事,生与死合而为一。

~ 聊天

        很不错吧?得益于其自我注意机制,它可以有效地混合和匹配相关信息,以构建合理而连贯的响应。

        在训练过程中,LLM学习识别他们所接触到的数据中单词和短语之间的模式,关联和关系。由于这种广泛的培训和微调,LLM可以表现出新兴属性,例如执行语言翻译,摘要,问答甚至创意写作的能力。这些功能通常超出了模型中显式编程的范围,并且可能非常出色!

大型语言模型是否智能?

        电子计算器已经存在了六十多年。该工具本身已经有了突飞猛进的改进,但它从未被认为是智能的。为什么?

图灵测试 - 图灵测试是一种看似简单的方法,用于确定机器是否表现出类似人类的智能:如果机器能够以与人类无法区分的方式与人类进行对话,则认为它具有人类智能。

        计算器从未接受过图灵测试,因为它不像人类那样用同样的语言进行交流,只有数学语言。另一方面,LLM产生人类语言。它的整个训练过程围绕着模仿人类语言。因此,它可以“以与人类无法区分的方式与人类进行对话”也就不足为奇了。

        因此,用“智能”这个词来描述LLM有点棘手,因为对于智能的真正含义没有明确的共识。考虑某物是否智能的一种方法是,它是否做了有趣、有用且不是非常明显的事情。LLM确实属于这一类。不幸的是,我完全不同意这种解释。

我将智力定义为扩展知识前沿的能力。

        在撰写本文时,经过训练来预测下一个标记/单词的机器仍然无法扩展知识的前沿。

        但是,它可以对已训练的数据进行插值。没有明确理解单词背后的逻辑,也没有存在的知识树。因此,它将永远无法产生异常的想法并实现洞察力的飞跃。它将始终提供连贯的答案,在某种程度上是平均响应。

那么,这对我们人类意味着什么呢?

        我们应该把LLM更像一个单词的计算器。永远不要把你的思维完全外包给语言模型。

        与此同时,随着这些模型呈指数级增长,我们可能会感到越来越不知所措和微不足道。解决这个问题的方法是始终对看似无关的想法保持好奇。表面上看起来不连贯的想法,但基于我们与周围环境的互动而有意义。目标是生活在知识的边缘,创造和连接新的点。

        如果你在这个层面上工作,所有形式的技术,无论是计算器还是大型语言模型,都会成为你可以使用的工具,而不是你需要担心的生存威胁。

参考资料: 达文·维贾扬

你可能感兴趣的:(LLM,语言模型,人工智能,自然语言处理)