pytorch KL散度学习

pytorch官方文档中给出了说明
下面是在学习过程中需要注意的：

1. KL散度，也叫做相对熵，计算公式如下：

   $KL(p||q)=\sum P(x)log(\frac{P(X)}{Q(x)})$
   其中$P(x)$是真实的分布，是目标；$Q(x)$是拟合分布，是想要改变的分布。KL散度值越小，分布越接近。

2. 性质

• KL散度值 $\ge$ 0，当$P(x)=Q(x)$ 时等号成立。
• KL散度是非对称的，即$KL(p||q)\ne KL(q||p)$

3. 输入参数

• 输入$x$ （自己生成的标签）需要经过log_softmax层，把概率分布变换到$log$上
• 输入$y$ （想要拟合到的目标分布）需要经过softmax层计算

4. 实现代码

import torch.nn as nn

x = F.log_softmax(x)
y = F.softmax(y, dim=1)
criterion = nn.KLDivLoss()
klloss = criterion(x, y)

5. 可能的错误
   若输入的x或y的分布的概率之和不为1，则会出现KL散度值为负数的情况。