点互信息和互信息 PMI

在数据挖掘或者信息检索的相关资料里,经常会用到PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性。PMI的定义如下:

点互信息和互信息 PMI_第1张图片

这个定义所体现的原理其实是相当直白的。在概率论中,我们知道,如果x跟y不相关,则 P(x,y) = P(x)P(y)。二者相关性越大,则 P(x,y) 就相比于 P(x)P(y) 越大。根据条件概率公式,你还可以写成


这也很好理解,在y出现的情况下x出现的条件概率 p(x|y) 除以x本身出现的概率 p(x) ,自然就表示x跟y的相关程度。

这里的log来自于信息论的理论,而且 log 1 = 0 ,也恰恰表明P(x,y) = P(x)P(y),相关性为0,而且log是单调递增函数,所以 “P(x,y) 就相比于 P(x)P(y) 越大,x 和 y 相关性越大” 这一性质也得到保留。

通常我们可以用一个Co-occurrence Matrix来表示对一个语料库中两个单词出现在同一份文档的统计情况,例如

点互信息和互信息 PMI_第2张图片

以计算PMI(information,data)为例则有(其中分母上的19是上表所有数值之和):

点互信息和互信息 PMI_第3张图片

其他中间结果如下表所示:


点互信息和互信息 PMI_第4张图片

但是从上表中你可能会发现一个问题,那就是你有可能会去计算 log 0 = -inf,即得到一个负无穷。为此人们通常会计算一个PPMI(Positive PMI)来避免出现 -inf,即

参考:https://blog.csdn.net/baimafujinji/article/details/6509820

你可能感兴趣的:(点互信息和互信息 PMI)