[论文笔记]RE2

引言

今天带来论文Simple and Effective Text Matching with Richer Alignment Features的笔记，论文标题为基于更丰富特征对齐结构的简单高效文本匹配模型。

这篇工作是2019年发表的，在Bert出来之后发表的，在四个著名的文本匹配任务(SNLI,SciTail,QQP,WikiQA)上取得了SOTA的结果。

该论文提出来的模型是RE2(Residual vectors, Embedding vectors, Encoded vectors)，它在提升效果的同时，也大大减少了网路规则，极大提升了预测效果，是可用于工业界部署的极佳模型。

使用了三种关键特征向量，设计了一个快速且表现优秀的文本匹配模型。与同等效果的模型相比，该模型参数更少，推理速度提升至少6倍。它不依赖于人工构造特征或者复杂网络来实现对齐结构，是特征对齐模型的集大成者。

相关工作

一些工作通过独立编码序列到定长向量然后接一个分类器来分类的方式做文本匹配。

后来的工作采用匹配聚合框架在更低的级别上进行匹配，然后基于注意力机制进行聚合。ESIM采用了注意力机制，应用Bi-LSTM作为编码器和聚合器。

为了进一步提升性能，采用了三种范式。首先，增加了额外的特征。比如句法特征或手工设计的特征，以及词性标签。其次，为对齐计算增加了复杂的操作，BiMPM采用了多视角的匹配操作。最后的一种方式为对齐结果构建重后处理层，比如CAFE使用对齐分解层从对齐过程中提取额外的指标。