KL散度(Kullback–Leibler divergence)

KL散度，又称为相对熵或信息散度，描述的是两个概率分布之间的差异

对于离散概率分布：$$KL(P|Q)=\sum P(x)log\frac{P(x)}{Q(x)}$$
对于连续概率分布：$$KL(P|Q)=\int P(x)log\frac{P(x)}{Q(x)}dx$$

散度越小，说明概率q与概率p之间的分布越接近，那么估计的概率分布与真实的概率分布也就越接近。