NLP论文阅读记录 - 2021 | WOS 基于动态记忆网络的抽取式摘要

---

前言

Extractive Summarization Based on Dynamic Memory Network（21）

---

0、论文摘要

我们提出了一种基于 Bert 和动态记忆网络的提取摘要模型。基于 Bert 的模型使用 Transformer 提取文本特征，并使用预训练模型构建句子嵌入。基于 Bert 的模型自动标记句子，无需使用任何手工制作的特征，并且数据集是对称标记的。我们还提出了一种用于提取摘要的动态记忆网络方法。在几个摘要基准数据集上进行了实验。与其他提取摘要方法相比，我们的模型显示出可比的性能。

一、Introduction

1.1目标问题

摘要是自然语言理解和信息检索的一个重要问题。摘要的目的是压缩输入文本并保留输入文本的核心含义。概括的方法分为两类：抽取式概括法和抽象式概括法。这两种方法的对称性很重要。提取摘要方法从文档中选择显着内容，而抽象摘要方法解释文档内容。早期的研究主要集中在抽取式摘要方法，近期的研究主要集中在神经抽取式摘要和神经抽象式摘要。在本文中，我们只关注提取摘要方法。

1.2相关的尝试

Edmundson [1] 的早期工作是通过考虑标题词、线索词和句子位置来对句子进行评分。 Lin[2]使用一些规则来查找主题句，并训练一个模型来根据位置预测主题句。
随着深度学习的发展，研究人员主要集中于利用神经网络方法来解决提取摘要问题。特别是神经网络语言模型[3]和文本表示方法[4]的发展使得自然语言处理腾飞。曹[5]将神经网络应用于提取式查询集中摘要，这是一种信息检索任务。在他们的模型中，他们使用 CNN（卷积神经网络）将文档的句子和查询投影到潜在空间。为了获得文档表示，他们对句子嵌入使用加权和池化。最后，他们在比较句子嵌入和文档嵌入之间的相似性后，对文档的句子进行排序和选择。
由于RNN（循环神经网络）在机器翻译中的成功[6]，Rush[7]首先采用基于注意力机制的RNN进行抽象摘要。
Nallapati [8]使用基于RNN的序列模型来提取单个文档的摘要，这是我们关注的问题。在他们的模型中，他们将提取摘要任务视为二元分类任务，并使用 RNN 模型作为句子分类器。最近，Zhou[9]将Carbonell和Goldstein[10]提出的MMR（最大边际相关性）选择策略集成到评分模型中。在他们的模型中，他们采用 BiGRU（双向门控循环单元）[4] 作为编码器来获取句子表示和文档表示，并通过最大化 ROUGE-2 F1 分数 [2] 构建标记训练数据。上面提到的这些神经抽取摘要方法都是使用RNN作为编码器，并且标记数据构建方法的计算量很大。 Narayan [11] 使用 CNN [12] 作为句子编码器，并使用 RNN 作为文档编码器。由于提取文本特征的能力很强，我们将像 Bert [14] 一样使用 Transformer [13] 作为编码器。

1.3本文贡献

总之，我们的贡献如下：

1.我们提出了一种提取摘要模型，该模型可以实现与其他基线可比较的结果。 2.我们提出了一种用于提取摘要问题的简单有效的句子标签方法。 3.我们将位置编码合并到动态记忆网络中。 4.我们建议使用动态记忆网络方法进行提取摘要。

二.前提

三.本文方法

四 实验效果

4.1数据集

4.2 对比模型

4.3实施细节

4.4评估指标

4.5 实验结果

4.6 细粒度分析

---

五 总结

在这项工作中，我们提出了一种基于 Bert 和动态记忆网络的提取摘要模型。在我们的模型中，我们使用简单的语义匹配方法来标记训练集并使用预训练的 Bert 模型来训练我们的模型。强大的文本特征提取能力使得模型有效。实验结果表明，基于 Bert 和动态记忆网络的模型在数据集上取得了与其他提取系统相当的结果。我们用于提取摘要问题的带有双 LSTM 编码器的动态记忆网络取得了良好的结果。以后我们会把这种抽取式概括的方法融入到抽象方法中。

思考