[论文笔记]A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES

引言

今天带来论文A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES的阅读笔记。

很多NLP任务，包括阅读理解、文本蕴含和问答任务，都需要在序列之间进行比较。匹配序列间重要的单位是这些解决这些任务的关键。本篇工作提出了一个通用的比较聚合(compare-aggragate)框架执行单词级匹配，然后使用CNN进行聚合。

比较聚合网络并不是作者首先提出来的，但作者认为前人的工作有一些不足：

• 只能应用到一两个任务，不能体出现比较聚合框架的泛化性。
• 对比较部分的组成单元选择比较简单，比较函数单一。

而本篇工作作者使用了六种不同的比较函数，实验结果证明作者提出的模型在不同任务的四份数据集(问答和蕴含任务)上达到了当时的SOTA结果。作者也着重强调了element-wise(逐元素级)函数作为交互效果明显。

本篇工作的贡献有：

1. 使用四种不同的数据集，证明了作者提出的模型在这些数据集上达到了SOTA结果。
2. 系统地评估了不同的比较函数，并且得出了element-wise的比较函数效果最好。

相关工作

• 孪生神经网络(Siamense network)

  • 基于相同参数的网络，比如RNN或CNN来分别构建不同语句的表示，然后可以用于分类或文本表示。

• 注意力网络(Attentive network)

  • 广泛应用注意力机制到机器阅读理解、文本蕴含和问答任务。这类工作通常不是应用RNN的最后一个状态去表示一个语句，而是对RNN的所有状态进