NLP四范式:范式一:非神经网络时代的完全监督学习(特征工程);范式二:基于神经网络的完全监督学习(架构工程);范式三:预训练,精调范式(目标工程);范式四:预训练,提示,预测范式(Prompt工程)

NLP四范式:范式一:非神经网络时代的完全监督学习(特征工程);范式二:基于神经网络的完全监督学习(架构工程);范式三:预训练,精调范式(目标工程);范式四:预训练,提示,预测范式(Prompt工程)_第1张图片
自然语言处理(Natural Language Processing,NLP)是计算机科学,人工智能,语言学关于计算机和人类自然语言之间的相互作用的领域,是计算机科学领域与人工智能领域中的一个重要方向。

自然语言处理历史悠久,早在1949年的时候,美国人威弗就提出了机器翻译设计方案,可以视为自然语言处理领域的开端,此后自然语言处理在不断的发展,在上世纪该领域的方法主要是基于规则的方法和基于统计学的方法,这类方法效率较低,耗费人力,且无法处理大规模的数据集,因此自然语言处理领域一直不温不火。

2008年以来,随着深度学习在语音识别和图像处理领域取得成功,研究者们开始使用深度学习方法处理自然语言处理问题,从最初的词向量,到2013年的word2vec,再到2018年的bert,最后到如今的prompt,自然语言处理技术在最近的十年里面快速发展。

CMU的刘鹏飞博士总结了自然语言处理技术发展过程中的四种范式,每种范式代表了一种类型的自然语言处理方法,本文结合一些简单的示例,总结一下NLP中的四个范式。

一、第一范式:非神经网络时代的完全监督学习(特征工程)

第一范式指的是引入神经网络之前NLP领域的处理方法,提取出自然语言语料库中的一些特征,利用特定的规则或数学、统计学的模型来对特征进行匹配和利用,进而完成特定的NLP任务。常见的方法比如以下方法来进行序列分类、序列标注等任务

你可能感兴趣的:(自然语言处理/NLP,自然语言处理,第四范式,prompt)