KL散度、JS散度 的理解以及一些问题

KL散度

定义

KL(Kullback-Leibler divergence)散度用来描述两个概率分布P和Q的差异的一种方法，也叫做相对熵(relative entropy)。

特性

1.KL具有非对称性，即D(P||Q) ≠ D(Q||P)。

2.非负性：因为对数函数是凸函数，所以 KL散度的值为非负数。

3.KL散度不满足三角不等式: KL(A,B) > KL(A,C)+KL(C,B)

公式

离散

连续

机器学习

在机器学习领域，是用来度量两个函数的相似程度或者相近程度。

JS散度

出现的原因

KL散度时不对称的，训练神经网络会因为不同的顺序造成不一样的训练结果，为了克服这个问题，提出了JS散度。

公式

特性

1.对称

2.非负

3.值域范围

JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。

问题

当两个概率分布不一样的时候，它们的值是不是会随着距离的变大而变大。两个概率分布完全不一样的时候，距离是log(2)

交叉熵（Cross Entropy）

定义

交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。

尽管交叉熵刻画的是两个概率分布之间的距离，但是神经网络的输出却不一定是一个概率分布。为此我们常常用Softmax回归将神经网络前向传播得到的结果变成概率分布。

公式

在神经网络中，交叉熵可以作为损失函数，因为它可以衡量P和Q的相似性。

和KL散度的关系