pytorch中的cross_entropy函数

        cross_entropy函数是pytorch中计算交叉熵的函数。根据源码分析，输入主要包括两部分，一个是input，是维度为（batch_size，class）的矩阵，class表示分类的数量，这个就表示模型输出的预测结果；另一个是target，是维度为（batch_size）的一维向量，表示每个样本的真实值。输出是交叉熵的值。nn中的CrossEntropyLoss类与此函数的作用相同。

---

计算过程

        交叉熵是常见的损失函数，之前的文章中已经详细介绍了交叉熵的公式由来（交叉熵详解），公式如下：

        如果用在多分类问题中当做损失函数的话，一般会这样写：

        其中y是真实分类，是一个标签值；是模型预测结果，包含了属于每种标签的概率（此时这几个概率相加还不等于1）。在上面说了函数的输入分别是input和target，那么y就对应target这个向量，就对应input这个矩阵。但是现在就出现了两个问题：

         1、target就是一个标签值，无法与input直接进行运算，那么我们就对这个target先进行one-hot编码，使二者的维度相同。 比如target的值是[3]，共有5个类，那么转换为one-hot编码之后就是：[0,0,0,1,0]。

        2、input中的预测值不能直接代表概率，而且这几个值相加不为1，这时就进行一个softmax操作，让模型的输出值满足上面两个条件，对输出结果的归一化公式如下：

        将带入到上面的损失函数公式中进行推导：

        在第一点中我们已经将y转换为了[0,0,0,1,0]这样的编码，可见式子中只有target那一项的损失值需要计算，其他与0相乘就都消掉了，所以式子中最外层那个连加号就可以去掉了。最后式子就简化为：

---

Python实现

        现在已经清楚了cross_entropy这个函数的运算过程，现在用Python来模拟一下，首先构造一个随机的input和target：

output = torch.randn(1, 5, requires_grad=True)
label = torch.empty(1, dtype=torch.long).random_(5)
print("output:")
print(output)
print("label:")
print(label)

        输出结果如下：

        然后模拟函数的运算过程：

first = -input[0][target[0]]
second = 0
res=0
for j in range(5):
    second += math.exp(input[0][j])
res = (first + math.log(second))
print("自己的计算结果：")
print(res)

         输出结果为：

         然后分别调用cross_entropy函数和CrossEntropyLoss类计算loss的结果：

criterion = nn.CrossEntropyLoss()
loss = criterion(input, target)
loss2 = torch.nn.functional.cross_entropy(input=input,target=target)
print("cross_entropy函数计算loss的结果:")
print(loss)
print("CrossEntropyLoss类计算loss的结果:")
print(loss2)

        输出结果为：