对PyTorch中F.cross_entropy()函数的理解

对PyTorch中F.cross_entropy()的理解

PyTorch提供了求交叉熵的两个常用函数，一个是F.cross_entropy()，另一个是F.nll_entropy()，在学这两个函数的使用的时候有一些问题，尤其是对F.cross_entropy(input, target)中参数target的理解很困难，现在好像弄懂了一些，故写一篇Blog进行记录，方便日后查阅。

一、交叉熵的公式及计算步骤

1、交叉熵的公式：

$$H\left(p,q\right)=-\sum _{i}P\left(i\right)\log Q\left(i\right)$$

其中$P$为真实值，$Q$为预测值。

2、计算交叉熵的步骤：

1)步骤说明：

①将predict_scores进行softmax运算，将运算结果记为pred_scores_soft；
②将pred_scores_soft进行log运算，将运算结果记为pred_scores_soft_log；
③将pred_scores_soft_log与真实值进行计算处理。
思路即：
$$scores\to softmax\to log\to compute$$

2)举一个例子对计算进行说明：

$$P_1=\left[\begin{array}{ccccc}1& 0& 0& 0& 0\end{array}\right]$$

$$Q_1=\left[\begin{array}{ccccc}0.4& 0.3& 0.05& 0.05& 0.2\end{array}\right]$$

$$\begin{gathered} H\left(p,q\right)=-\sum _{i}P\left(i\right)\log Q\left(i\right)=-(1\ast log0.4+0\ast log0.3+0\ast log0.05+0\ast log0.05+0\ast log0.2) \\ =-log0.4\approx 0.916 \end{gathered}$$
如果
$$Q_2=\left[\begin{array}{ccccc}0.98& 0.01& 0& 0& 0.01\end{array}\right]$$
则
$$\begin{gathered} H\left(p,q\right)=-\sum _{i}P\left(i\right)\log Q\left(i\right)=-(1\ast log0.98+0\ast log0.01+0\ast log0.05+0\ast log0+0\ast log0.01) \\ =-log0.98\approx 0.02 \end{gathered}$$

由$H(p,q)$的计算结果和直观地观察$Q_1$和$Q_2$与$P_1$的相似度，均可看出$Q_2$比$Q_1$更近似于$P_1$。

二、官方文档的说明

在PyTorch的官方中文文档中F.cross_entropy()的记录如下：

torch.nn.functional.cross_entropy(input, target, weight=None, size_average=True)

该函数使用了 log_softmax 和 nll_loss，详细请看CrossEntropyLoss

常用参数：

参数名	shape	注
input	(N,C)	C是类别的个数
target	N	0 <= targets[i] <= C-1

三、自己的困惑

在官方文档说明中，对于target参数的说明为，torch.shape为torch.Size([N])，0 <= targets[i] <= C-1。
我的困惑是：网络计算输出并送入函数中的input的torch.shape为torch.Size([N,C])，它的torch.shape并不会因为softmax和log的操作而改变，但是target的torch.shape为torch.Size([N])，是一个标量而不是一个矩阵，那么如何按照上面的例子中的运算方法进行交叉熵的计算？

例如：

import torch
import torch.nn.functional as F

pred_score = torch.tensor([[13., 3., 2., 5., 1.],
                           [1., 8., 20., 2., 3.],
                           [1., 14., 3., 5., 3.]])
print(pred_score)
pred_score_soft = F.softmax(pred_score, dim=1)
print(pred_score_soft)
pred_score_soft_log = pred_score_soft.log()
print(pred_score_soft_log)

它的结果为：

tensor([[13.,  3.,  2.,  5.,  1.],
        [ 1.,  8., 20.,  2.,  3.],
        [ 1., 14.,  3.,  5.,  3.]])
tensor([[9.9960e-01, 4.5382e-05, 1.6695e-05, 3.3533e-04, 6.1417e-06],
        [5.6028e-09, 6.1442e-06, 9.9999e-01, 1.5230e-08, 4.1399e-08],
        [2.2600e-06, 9.9984e-01, 1.6699e-05, 1.2339e-04, 1.6699e-05]])
tensor([[-4.0366e-04, -1.0000e+01, -1.1000e+01, -8.0004e+00, -1.2000e+01],
        [-1.9000e+01, -1.2000e+01, -6.1989e-06, -1.8000e+01, -1.7000e+01],
        [-1.3000e+01, -1.5904e-04, -1.1000e+01, -9.0002e+00, -1.1000e+01]])

如何与一个标量target进行计算？

四、分析

F.Cross_entropy(input, target)函数中包含了$softmax$和$log$的操作，即网络计算送入的input参数不需要进行这两个操作。

例如在分类问题中，input表示为一个torch.Size([N, C])的矩阵，其中，$N$为样本的个数，$C$是类别的个数，input[i][j]可以理解为第$i$个样本的类别为$j$的Scores，Scores值越大，类别为$j$的可能性越高，就像在代码块中所体现的那样。

同时，一般我们将分类问题的结果作为lable表示时使用one-hot embedding，例如在手写数字识别的分类问题中，数字0的表示为$$\left[\begin{array}{cccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]$$数字3的表示为$$\left[\begin{array}{cccccccccc}0& 0& 0& 1& 0& 0& 0& 0& 0& 0\end{array}\right]$$在手写数字识别的问题中，我们计算$loss$的方法为$loss=(y-\hat{y}{)}^2$，即求$y$的embedding的矩阵减去pred_probability矩阵的结果矩阵的范数。

但是在这里，交叉熵的计算公式为

$$H\left(p,q\right)=-\sum _{i}P\left(i\right)\log Q\left(i\right)$$

其中$P$为真实值概率矩阵，$Q$为预测值概率矩阵。

那么如果$P$使用one-hot embedding的话，只有在$i$为正确分类时$P(i)$才等于$1$，否则，$P(i)$等于0。
例如在手写数字识别中，数字3的one-hot表示为$$\left[\begin{array}{cccccccccc}0& 0& 0& 1& 0& 0& 0& 0& 0& 0\end{array}\right]$$
对于交叉熵来说，$$H(p,q)=-\sum _{i}P(i)logQ(i)=-P(3)logQ(3)=-logQ(3)$$发现$H(p,q)$的计算不依赖于$P$矩阵，而仅仅与$P$的真实类别的$index$有关

五、总结

所以，我的理解是，在one-hot编码的前提下，在pytorch代码中target不需要以one-hot形式表示，而是直接用scalar，scalar的值则是真实类别的index。所以交叉熵的公式可表示为：
$$H(p,q)=-\sum _{i}P(i)logQ(i)=-P(m)logQ(m)=-logQ(m)$$
其中，$m$表示真实类别。