神经网络多分类任务的损失函数——交叉熵

神经网络多分类任务的损失函数——交叉熵

神经网络解决多分类问题最常用的方法是设置n个输出节点，其中n为类别的个数。对于每一个样例，神经网络可以得到的一个n维数组作为输出结果。数组中的每一个维度（也就是每一个输出节点）对应一个类别。在理想情况下，如果一个样本属于类别k，那么这个类别所对应的输出节点的输出值应该为1，而其他节点的输出都为0。

以识别手写数字为例，0~9共十个类别。识别数字1，神经网络的输出结果越接近[0,1,0,0,0,0,0,0,0,0]越好。交叉上是最好的评判方法之一。交叉熵刻画了两个概率分布之间的距离，它是分类问题中使用比较广的一种损失函数。

p代表正确答案，q代表的是预测值。交叉熵值越小，两个概率分布越接近。

例子：

假设有一个三分类问题，某个样例的正确答案是（1,0,0）。某模型经过Softmax回归之后的预测答案是（0.5,0,4,0.1)，那么这个预测和正确答案直接的交叉熵是：

如果另外一个模型的预测是（0.8,0.1,0.1），那么这个预测值和真实值的交叉熵是：

从直观上可以很容易知道第二个答案要优于第二个。通过交叉熵计算得到的结果也是一致的（第二个交叉熵的值更小）。