关于神经网络的模型训练时loss和val_loss变化的问题（笔记整理）

train loss 下降⬇，val loss下降⬇，说明网络仍在学习；~~ 奈斯，继续训练
train loss 下降⬇，val loss上升⬆，说明网络开始过拟合了；~~ 赶紧停止，然后数据增强、正则
train loss 不变，val loss不变，说明学习遇到瓶颈；~~ 调小学习率或批量数目
train loss 不变，val loss下降⬇，说明数据集100%有问题；~~ 检查数据集标注有没有问题
train loss 上升⬆，val loss上升⬆，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗

train_loss不断下降，val_loss不断下降，网络仍有学习空间；

train_loss不断下降，val_loss趋于不变，网络过拟合；

train_loss趋于不变，val_loss不断下降，数据集有问题；

train_loss趋于不变，val_loss趋于不变，学习遇到瓶颈；

train_loss和val_loss不断上升，网络结构设计不当，训练超参数设计不当。
 

本人自行学习笔记。

原地址：关于模型训练时loss变化的问题（笔记整理）_散修炼丹师手记-CSDN博客_模型loss