Query Expansion Using Word Embeddings 论文解读

整体思想

作者利用word2vec来挖掘查询词和扩展词之间的相关性；除此以外，为了弥补word2vec向量相似性的不足，引入了一些规则算法，例如：最大似然概率和基于基于伪反馈的关联模型。提出了一种搜索扩展词的挖掘方法。

基于word2vec挖掘查询词和扩展词之间的相关性

word2vec可以很好的将单词转换诶词向量，利用向量相似度可以衡量关键词之间的相似度，因此利用这种那个方法可以很好的挖掘出与搜索词语义相近的扩展词。
作者利用的是 unigram的CBOW语言模型。

搜索词和扩展词相关性

作者利用余弦相似度来衡量词语相似度：

考虑到query不一定只包含一个词可能是多个词，因此：
基于上述公式可以取出得分最高的若干个扩展词t

作者提出了3种方法来衡量词的相关性，但是总体都是基于向量的余弦相似度。

基于极大似然估计的查询词和扩展词之间的相关性

其中p(t|M)表示上一节中3种不同相似度计算方法中的一种，pMLE表示最大似然概率，公式如下：

tf(t ∈ q) is the count of t in q and |q| is the query length.
主要是考虑到扩展词t有可能包含在搜索词q中，这种包含词一般而言相关性极大

基于伪反馈的关联模型

基于假设：基于伪反馈的查询表达式方法是Word2Vec的扩展方法，利用基于伪反馈的关联模型来补充word2vec挖掘查询词和扩展词的方法。

将上述算法在引入为反馈关联模型后，整体模型如下：

其中p(t|RM,M)为：

其中p(t|RM1)为：

本质上其实就是将搜索词q和扩展词t通过搜索到的文本d关联起来的一种概率模型。
p(d|q)表示通过搜索词q搜索到文本d的概率；p(t|d)表示文本d中包含扩展词t的概率，在这里为了防止值为0用到了狄利克雷平滑。