Simple and Effective Text Matching with Richer Alignment Features阅读笔记

阿里小蜜提出的高效预测Text Matching模型，模型图如下：

An overview of RE2.

核心是有三种向量，Embedding，Residual和Encoded，分别对应图中的白，灰，黑

Encoder层用的是普通多层CNN

Augmented Residual Connections

残差网络做了特殊处理

Alignment Layer

两句做Attention，相似度取

函数为恒等函数或者单层前馈网络

Fusion Layer

是单层前馈网络，融合层将直接拼接，减后拼接和乘后拼接做拼接，减法表明两句的diff，乘法表明两句相似的部分

Prediction Layer

是两个句子经过pooling的输出，是多层前馈网络

这里作者分别对多种任务提出了不同的计算方式，有兴趣可以去原文看下

参考资料

[1] Text Matching with Richer Alignment Features 论文解读

[2] Text Matching with Richer Alignment Features原文

[3] 阿里提供的github代码