利用词间语义先验关系提升词嵌入表示

文献：Yu M, Dredze M. Improving Lexical Embeddings with Semantic Knowledge[C]. ACL 2014: 545-550.

思想

提出关系受限RCM模型，利用词间语义先验关系提升词嵌入表示。

Relation Constrained Model（RCM）

定义关系R,比如语义相似度小于某个指定阈值的词序偶 <wi,wj> 集合,进而可定义类似CBOW模型的目标函数如下：
QRCM=1|V|∑i=1|V|∑w∈Rwilogp(wi|w)

RCM与CBOW相结合的混合模型

由于CBOW模型的目标函数为 QCBOW=1|V|∑t=1|V|logp(wt|wt+ct−c) ，故有混合目标函数 Qjoint=QCBOW+λQRCM .

对比 QRCM 与 QCBOW 可知，二者差异是：与目标词进行比较的相关词不同，一个是具有先验语义相关性的词集合，一个是序列位置上下文。