chatbot-检索式模型介绍(四)

检索式模型介绍(四)

  • 这个系列的文章主要是介绍一些可以作为文本匹配工作的一些模型,有些是比较基础的算法,例如bm25。有些模型是基于深度学习的架构,比如说deepMatch模型。个人认为文本匹配的任务有两种实现方式,一个是学习不同domain中text的representation,然后利用representation计算score,这个的score可以是相似度(cosine,欧式距离等)。当然一般的处理是直接用dot pruduct。 第二种方式是利用sentence中不同词的特征直接计算相似度。这类的方法如deepMatch等。
  • 当然,大部分的算法模型,都是从相关的论文里面总结,由于个人水品有限,还是会有一些疏漏,请多多指正。
  • 本片blog介绍的模型有aNMM-1,aNMM-2,HyperQA,BiMPM,Compare-aggregate Model,IWAN以及MCAN。

十六 aNMM[1]

16.1 简介
本文是基于value-shared weighted的一种改进的语义匹配模型。常见的cnn结构是position-shared weight。也就是说在cnn的卷积核中,相对位置一样的地方权重是一样的。如下图所示,相同颜色的部分表示在卷积核中的权重是一样的。
chatbot-检索式模型介绍(四)_第1张图片
这种cnn的特征的缺陷是在一个sentence中,文本语义不可能有这种在位置上特殊规律。所以本文在cnn的基础上提出了value-shared weighted的一种语义匹配模型。表示的

你可能感兴趣的:(对话机器人,检索模型,chatbot,对话机器人,检索式,生成式)