使用PPMI改进共现矩阵

使用PPMI改进共现矩阵

共现矩阵的元素表示两个单词同时出现的次数,这里的次数并不具备好的性质,举个例子,有短语叫the car,因为the是个常用词,如果以两个单词同时出现的次数为衡量相关性的标准,与drive 相比,the和car的相关性更强,这是不对的。

点互信息(Pointwise Mutual Information,PMI):表达式如下,P(x)表示x发生的概率,P(y)表示y发生的概率,P(x,y)表示x和y同时发生的概率。PMI的值越高,表明x与y相关性越强。

使用PPMI改进共现矩阵_第1张图片

用共现矩阵重写PMI表达式:将共现矩阵表示为C,将单词X和Y的共现次数表示为C(x,y),将单词x和y的出现次数分别表示为C(x)、C(y),将语料库的单词数量记为N。表达式如下。

在这里插入图片描述

正的点互信息(Positive PMI,PPMI):当两个单词的共现次数为0时, log0=-∞。为解决这个问题,实践上会使用下述正的点互信息。可以将单词间的相关性表示为大于等于0的实数。

在这里插入图片描述

共现

你可能感兴趣的:(学习笔记,nlp,PPMI)