深度学习与自然语言处理（三）——深度学习运用到自然语言处理领域的成功案例

目录

 

1.全连接前馈神经网络（MLP）的应用

2.卷积神经网络（CNNs）的应用

3.循环和递归神经网络（RNNs）的应用

---

1.全连接前馈神经网络（MLP）的应用

大部分情况下，全连接前馈神经网络（MLP）能被用来替代线性学习器。这包括二分类或多分类问题，以及更复杂的结构化预测问题。网络的非线性以及易于整合预训练词嵌入的能力经常带来更高的分类精度。一系列工作通过简单地将句法分析器中的线性模型替换为全连接前馈神经网络便获得了更好的句法分析结果。直接将前馈网络用于分类器（通常同时使用预训练词向量）为许多语义任务带来了好处，包括：非常基本的语言模型任务，CCG标注（supertagging），对话状态跟踪，统计机器翻译中的预排序。Iyyer等人【2015】证明多层前馈网络能对情感分类任务和事实型问答带来富有竞争力的结果。Zhou等人【2015】和Andor等人【2016】将它们与基于柱搜索（beam-search）的结构化预测系统相结合，在句法分析、序列标注以及其他任务中获得了很高的准确率。

2.卷积神经网络（CNNs）的应用

具有卷积和池化层的网络对于分类任务非常有用，我们期望从中发现很强的关于类别的局部线索，这些线索能出现在输入的不同位置。例如，在文本分类任务中，单一的关键短语（或连续的n个词）能帮助确定文本的主题【Johnson and Zhang，2015】。我们期望学习某些有利于指明主题的单词序列，不需要关注它们出现在文档中的位置。卷积和池化层允许模型学习到这些局部指示，忽略它们的位置。卷积和池化结构在许多任务中展现了鼓舞人心的结果，包括文本分类、短文本分类、情感分类、实体之间关系类型分类、事件检测、复述识别、语义角色标注、问答系统、基于影评的电影票房预测、文本趣味性建模以及字符序列和词性标记之间关系的建模。

3.循环和递归神经网络（RNNs）的应用

在自然语言中，我们经常与任意长度的结构化数据打交道，例如序列和树。我们期望能够获取这些结构的泛化性，或者建模它们之间的相似性。循环和递归结构很有效，能够保留很多结构化信息。循环网络被设计用于对序列进行建模，而递归网络是对循环网络的泛化，能处理树。循环模型已经在很多任务上展示了非常强的效果，包括语言模型、序列标记、机器翻译、句法分析、噪声文本规范化、对话状态跟踪、反馈生成以及字符序列和词性标记之间关系的建模。

对于短语结构和依存句法分析的重排序、语篇关系分析、语义关系分类、基于句法分析树的政治意识形态检测、情感分类、目标依赖的情感分类以及问答系统，递归模型显示出能获得目前最好或近似最好的结果。

注:文章内容摘自Yoav Goldberg所著《Neural Network Methods for Natural Language Processing》的中文版《基于深度学习的自然语言处理》chapter 1 Introduction