解读RE2《Simple and Effective Text Matching with Richer Alignment Features》

Paper: https://www.aclweb.org/anthology/P19-1465

Code: https://github.com/hitvoice/RE2

文章摘要

    文中提出了一种快速、强悍神经网络方法来用于通用文本的匹配。我们研究了构建一个快速且性能良好的文本匹配模型的足够条件,并建议保持三个用于序列间对齐的关键特性:原始点对齐特性、先前对齐特性和上下文特性,同时简化所有剩余组件。我们在自然语言推理、意图识别和答案选择等任务中,对4个研究良好的基准数据集进行了实验。我们的模型性能与最先进的模型相当,并且使用的参数更少,除此之外,在推理速度方面与类似模型的相比,至少要快6倍。

本文模型算法RE2

下图给出了总体架构的说明,两个文本序列在预测层前对称处理,除预测层中参数外的所有参数在两个序列之间共享。

解读RE2《Simple and Effective Text Matching with Richer Alignment Features》_第1张图片

其中,对齐融合层的输入分为三个部分:原始点态特征(嵌入向量,用空白矩形表示)、先前对齐特征(剩余向量,用对角线矩形表示)和上下文特征(编码向量,用实矩形表示)。右边的架构与左边的架构相同,所以为了简洁起见省略了它。

Augmented Residual Connections(增强剩余链接)

    为了给对齐过程提供更丰富的特性,RE2采用了增强版的剩余连接来连接连续块。在增强剩余连接的情况下,对齐和融合层的输入分为三个部分,即原始的点方向特征(嵌入向量)、先前对齐特征(残差向量)和后编码层上下文特征(编码向量)。这三个部分在文本匹配过程中都起到了互补的作用。

对于长度为l的序列,我们将第n个块的输入和输出表示为。 令为零向量序列。 如前所述,第一块的输入是嵌入层的输出(在图1中用空白矩形表示)。 第n个块(n≥2)的输入是第一个块的输入和前两个块的输出的总和(由具有斜条纹的矩形表示)的串联 图1):

AlignmentLayer(对齐层)

对齐层(如上面架构图所示)将来自两个序列的特性作为输入,并计算对齐后的表示形式作为输出。

如图1所示,将两个序列的特征作为输入,并将对齐的表示作为输出进行计算。 从第一个序列输入长度的长度表示为并从第二个长度为lb的序列输入表示为。 相似之处ai和bj之间的得分eij被计算为点投影向量的乘积:

Fusion Layer(融合层)

    融合层比较三个透视图中的局部表示和对齐表示,然后将它们融合在一起。

Prediction Layer(预测层)

    预测层以池层中v1和v2两个序列的向量表示作为输入,预测最终目标。

你可能感兴趣的:(解读RE2《Simple and Effective Text Matching with Richer Alignment Features》)