文本匹配实战系列

引言

本系列文章开始介绍深度学习在文本匹配领域的应用，并且会尝试得到各种模型在给定的数据集上的表现。

深度文本匹配发展比较久，积累了很多文本匹配方法。也有很多的分类方式，一种分类方式是表示型和交互型。

表示型方法

表示型(representation-based method)方法，也称为双塔型方法，主要思路是计算一段文本的表示向量。对于要匹配的两段文本，分别计算出两个表示向量，然后通过匹配度函数计算两端文本的匹配程度。匹配度函数可以是固定参数的相似度度量函数或可学习的匹配度打分模型。

比如对同一个编码器，分别计算文本a和文本b的表示向量，可以把它们合并起来再喂给一个分类器进行打分。

代表方法：

• DSSM(2013)
• SiamCNN
• SiamLSTM
• SkipThought
• FastSent
• SDAE
• Joint-many
• InferSent
• SSE
• GenSen
• Quick-Thought
• USE
• MT-DAN(USE)
• Cross-thought
• Sentence-BERT
• R-Drop
• BERT-flow
• Bert-whitenting
• SimBERT
• SimBERT v2
• SimCSE
• PromCSE

交互型方法

而交互型(interaction-based)方法主要思路是计算两段文本之间的交互，做法是首先计算两段文本单词级的词向量，然后对两段文本的单词表示进行交互，构建两段文本之间的匹配模式，可以捕获到更细致、更局部的文本交互信息。最后使用DNN来提取更高层的匹配模式，计算匹配得分。

强调的是待匹配的两段文本之间的充分交互，以及交互后的匹配。

代表方法：

• DecAtt
• PWIM
• MatchPyramid
• ESIM
• BERT
• HCAN
• RE2

那么这两种方式有什么区别呢？什么情况下用哪种方式呢？

• 表示型方法侧重于表示层的构建和相似度的计算，可以预先李离线计算好文本表示，推断效率高，适合于对实时性要求高的场景，比如检索式聊天机器人。
• 交互型方法建模更细致、充分，一般效果也更好。一般以Attention为代表的方式对文本进行不同粒度的交互，然后融合不同粒度交互的结果作为一个特征向量，进而得到最终的匹配结果。但是这种交互方式计算成本(时间)较高，适合于对于匹配精度要求高但非实时的场景。