统计自然语言处理--互信息

统计自然语言处理--互信息

   今天六一，C小加不在身边，混球啊。任务需要在看曼宁的《统计自然语言处理基础》。然后用到互信息，每次我觉得好高深的名字，做下去的时候就发现没有那么难。

搭配

搭配由有限的复合构词法所描述。

识别搭配对的方法有三种：1.使用频率信息的搭配识别。2.基于含义和主词搭配词之间的距离识别。3.基于假设测试和互信息的识别。

1.频率

将语料过滤后得到的动词，名词，之间进行两两配对，统计每个词语在一个句子，或在一个段落中出现的次数，即为频率。

2.均值和方差 

   由于两个词之间的距离是可以变化的，计算两个词之间的偏移量的均值和方差。

均值就是简单的平均偏移量。

方差衡量的是单独的偏移量偏离均值的距离：

 是同现i的偏移量，表示的是样本偏移量的均值。 

     我们可以通过使用这个信息来发现搭配。具体的方法是通过寻找带有低偏差的词对。一个低的偏差值意味着这两个词通常大致相同距离出现。零偏差意味着这两个词总是以相同的距离出现。

   方差是关于一个相对于其他词分布峰值情况的度量。

关于互信息

互信息的计算公式是这样的：

MI(a,b) = log( p(ab) / (p(a)*p(b)) )

其中log的底数是2，p(x)表示x出现的概率。

好吧，好水，好简单。。着手写代码了。