Chatbot-检索式模型介绍（三）

检索式模型介绍（三）

• 这个系列的文章主要是介绍一些可以作为文本匹配工作的一些模型，有些是比较基础的算法，例如bm25。有些模型是基于深度学习的架构，比如说deepMatch模型。个人认为文本匹配的任务有两种实现方式，一个是学习不同domain中text的representation，然后利用representation计算score，这个的score可以是相似度（cosine，欧式距离等）。当然一般的处理是直接用dot pruduct。 第二种方式是利用sentence中不同词的特征直接计算相似度。这类的方法如deepMatch等。
• 当然，大部分的算法模型，都是从相关的论文里面总结，由于个人水品有限，还是会有一些疏漏，请多多指正。
• 本文介绍的模型有QA-LSTM及变种，CLSM模型，Dual Encoder，AP-CNN，AP-BiLSTM和HD-LSTM。

十一 QA-LSTM以及变种[1],[2]

11.1 简介
QA-LSTM是IBM提出的基于lstm或cnn的几种匹配模型。包括了lstm与cnn融合，lstm与attention融合等。下面将会对几种模型进行详细的介绍。
11.2 算法结构

• QA-LSTM模型
  

  • 如上图所示，针对与query以及reply首先使用biLSTM学习相应的向量表示。然后针对biLSTM的输出使用mean或者max pooling的方式，进行