统计自然语言处理

预备知识

一、概率论

1.1 期望和方差

期望值是指随机变量所取值的概率平均。

方差是描述该随机变量的值偏离其期望值的程度。

二、信息论

2.1 熵

熵又称为自信息，描述一个随机变量的不确定性的数量。随机变量的熵越大。它的不确定性就越大，那么，正确估计其值的可能性就越小。

也就是说，在已知部分知识的前提下，关于未知分布最合理的推断应该是符合已知知识最不确定或最大随机的推断。

2.2 联合熵

联合熵是用来描述一对随机变量平均所需要的信息量。