KL 散度理解

一、信息量
一个事件发生的概率为p,则该事件的信息量为-logp,概率高的事件,其信息量低。
二、熵
熵为一个随机变量(分布)信息量的期望:

三、KL散度
KL散度为分布到分布信息量变化值的期望:

参考:
信息熵是什么? - 运筹之学的回答 - 知乎
Kullback-Leibler(KL)散度介绍 - 灰灰的文章 - 知乎

你可能感兴趣的:(KL 散度理解)