信息熵，条件熵，相对熵

信息熵，条件熵，相对熵

Last Edit 2013/12/30

 以前在学习通信原理，信息论时都学习过这样的原理，但是不能从根本理解这样的公式有什么用，能解决什么问题。例如，笔者最近在看用信息论里条件熵来检测图像视频的显著性，一直就不明白这两样东西怎么就放在一块了。后面在《数学之美》，在书中看到了这些公式能够解释什么问题时，才有所领悟~~~

1，信息熵（Entropy)

     公式大家都不陌生吧：

P(x)是变量出现的概率；以前我们可以就学到此就为止了，那个信息熵在感性来看来表达的是什么东西呢？

信息熵越大，变量中包含的信息量就越大。同时，也说明了变量的不确定性也越大。

书中写到“一个事物内部会存在随机性，也就是不确定性，而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息，任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理，信息与信号处理的应用都是一个消除不确定性的过程。”

合理利用信息，而不是玩弄什么公式和机器学习算法，是做好搜索的关键。

2，条件熵（Conditional Entropy）

知道的信息越多，随机事件的不确定性就越小。

书中定义：在Y条件X的条件熵：（二元模型）

可以证明：                       

也就是说，引用了其他信息后，信息的不确定性降低了，“=”表示引入的信息对于X无关的，所以信息的不确定性不会改变。

（三元模型）

3，互信息（Mulual information）

也就是用来衡量两个信息的相关性大小的量。

4，相对熵

相对熵也是用来衡量相关性的，但和变量的互信息不同，它用来衡量两个取值为正数的函数的相似性。

结论：

1）对于两个完全相同的函数，它们的相对熵为0；

2）相对熵越大，两个函数的差异越大，反之 ，相对熵越小，两个函数差异越小；

3）对于概率分布或者概率密度函数，如果取值均大于0，相对熵可以衡量两个分布的差异性。

启示：

1）去计算一个变量的不确定性，可以考虑信息熵；在研究显著性时，可以用信息熵去计算一个区域的信息量的大小，近而来判断其为显著性区域或者像素点的可能性；

2）计算两个变量之间的相关性，可以考虑条件熵；