验证集精确度和损失同时上升

实验结果

下图中val_acc，val_loss分别表示验证集精确度和损失；train_acc，train_loss分别表示训练集精确度和损失。
验证集精确度一直上升，但是损失在第六个epoch后也开始上升，如何解释？

分析

在N标签分类任务中，输出是一个N维的向量，向量中每个位置代表某类标签，其值代表属于此类标签的概率值。我们取概率最大值的索引所对应的标签作为最终预测标签，所以最大概率其相对值更重要，90%的概率和50%的概率是等价的，只要它是最大概率即可，但是90%所对应的损失要小于50%对应的损失。因此只要正确类别的预测概率最大，它就可以在val-loss增加时仍然保持比较平稳的状态。

下面通过一个例子说明：

假设现在有个类别的数据集，类别分别是dog和horse，对于现在的一个样本，其真实类别是horse，也就是其真实值one-hot为[0, 1]，对于下面2种情况：
①其预测softmax值为[0.1, 0.9]，则对于这个例子的交叉熵值计算为：−(0∗ln0.1+1∗ln0.9)≈0.105 -(0ln0.1+1ln0.9) ≈ 0.105−(0∗ln0.1+1∗ln0.9)≈0.105
②其预测softmax值为[0.4, 0.6]，则对于这个例子的交叉熵值计算为：−(0∗ln0.4+1∗ln0.6)≈0.511 -(0ln0.4+1ln0.6) ≈ 0.511−(0∗ln0.4+1∗ln0.6)≈0.511
也就是说，虽然在上述两种情况下，预测值都为horse，即其accuracy是一样的，但是其loss是增加的。这种情况下就会出现val-loss不断增加，但是val-accuracy平稳不变的情况。
同理，在若干个样本的加和val-loss中，可能出现val-accuracy缓慢上升，val-loss也上升的情况，这种情况也属于过拟合问题，在这种情况下，可能预测softmax值稍微发现一点点的变化，使得accuracy上升，但是因为有其他样本的loss增加的较多，所以即使对于当前这样样本来说，acc增加，loss减少，但是对于整体样本的loss和来说，loss增加，造成整体情况是acc增加，loss也在增加。

实验表明，在数据量不是很大的情况下，的确会出现上述问题，但是如果数据量足够大，最终趋于的平稳情况是loss增加，acc会降低。

这也就引出了为什么在训练网络的衡量指标中，loss比accuracy更常用，总结如下：
(1) loss函数是可微的，而accuracy不是可微的，在网络模型反向传播过程中，需要可微的目标函数。
(2) 在分类任务中，使用accuracy可以，但是在回归任务中，accuracy便不再可用，只能使用loss
(3) 损失函数可以有多种优化方法，如牛顿法、极大似然估计等

参考：
https://blog.csdn.net/quiet_girl/article/details/86138489