信息论相关

       今天读GAN相关论文的时候看到KL散度这个概念，就去查了一下。大概是与信息论有关的一个物理量。知乎上的这个回答用一个猜小球颜色的问题来详细解释了信息论一些基本物理量的实际意义，通俗易懂。在这里记录一下。

如何通俗的解释交叉熵与相对熵? - 知乎

信息量

信息熵

 系统的信息量的期望

交叉熵

                     

为真实分布概率，为非真实概率分布。

按非真实分布做决策（如编码）时消除不确定性所需要的努力（如编码位数）的期望。 

相对熵 / KL散度

p为真实分布，q为非真实分布。

KL表示的即为非真实分布策略（q）需要比真实分布策略（p）多做出的努力的期望。

交叉熵，相互熵，散度

JS散度