入门卷积神经网络(四）误差函数（损失函数）

误差函数（损失函数）

监督学习的神经网络需要一个函数来测度模型的输出值p和真实因变量值y之间的差异，一般这种差异被称为残差或者误差。

但一个模型完美时（虽然不存在），其误差为0.当模型存在问题时，误差不管是负值还是正值，都偏离0.误差离0越近，说明模型越好。

常用的误差函数

均方误差

这里 Y i 表示神经网络的输出，Yi’'表示监督数据，i表示数据的维度。

这种损失函数通常用在实数值连续变量的回归问题上，并且对于残差较大的情况给予更多的权重。

交叉熵损失：

log表示以e为底的自然对数，Yk是神经网络的输出，Tk是正确解得标签。而且Tk中只有正确解得标签的索引为1，其余均为0.（one-hot表示）

第一个公式是针对单个数据的损失函数，第二个公式要求所有损失函数的总和。
假设数据一共有N个，Tnk表示第n个数据的第k个元素的值（Ynk是神经网络的输出，Tnk是监督数据）。其实就是把单个损失函数扩大了N份，最后再除以N，求平均损失函数。

举例：