KL散度学习笔记

这是一个啰嗦鬼写的啰嗦笔记，仅用来备份而已。

• 信息熵

参考：https://baike.baidu.com/item/%E9%A6%99%E5%86%9C%E7%86%B5/1649961?fr=aladdin

一条信息的信息量大小和它的不确定性有直接的关系。

比如说，我们要搞清楚一件非常不确定的事，或是一无所知的事情，需要了解大量的信息。相反，如果对某件事已经有了较多的了解，则不需要太多的信息就能把它搞清楚。所以，从这个角度，可以认为，信息量的度量就等于不确定性的多少。

对于任意一个随机变量 X，它的熵定义如下：变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

解释：

• Kullback-Leibler散度（相对熵）

参考：https://baike.baidu.com/item/%E7%9B%B8%E5%AF%B9%E7%86%B5/4233536?fromtitle=KL%E6%95%A3%E5%BA%A6&fromid=23238109&fr=aladdin