PMI

Pointwise mutualinformation(PMI), 或point mutual information是衡量两个随机变量的相关度

  X,Y 独立，则PMI(X,Y)= log1=0

  X，Y相关，P(X)与P(X|Y)的大小不确定

完全相关时，为Log(1/P(x)) 或Log(1/P(Y)) >0

MI为PMI的期望。

例子：

 

 MI （X,Y）=0.2141709

 ================

 

自信息和PMI

 

 ======================

归一化的PMI  归一化到[-1，+1]  :0 时不相关、-1时从不共现 1时完全共现

PMI（适用于MI）链式法则：

证明如下：

 

应用：PMI被用来寻找词语之间的搭配和关联

 

好的搭配组合有很高的PMI，因为共发生的概率只是比每个单词出现的概率稍微低一些。相反地，一对单词的出现概率要比它们共同发生的概率高得多，得到一个小的PMI分数。

举例：

我们想衡量like这个词的极性（正向情感还是负向情感）。我们可以预先挑选一些正向情感的词，比如good。然后我们算like跟good的PMI

其中p(like)是like在语料库中出现的概率（出现次数除以总词数N），p(like,good)表示like跟good在一句话中同时出现的概率（like跟good同时出现的次数除以N2）。

PMI(like,good)越大表示like的正向情感倾向就越明显。

 

参考：

https://en.wikipedia.org/wiki/Pointwise_mutual_information

http://www.rainng.com/pmi/