【pytorch深度学习 应用篇02】训练中loss图的解读,训练中的问题与经验汇总

文章目录

  • loss图解析
    • train loss ↘ \searrow ↗ \nearrow 先降后升

loss图解析

  • train loss ↘ \searrow 不断下降,test loss ↗ \nearrow 不断上升:原因很多,我是把workers=1,batchSize=8192
  • train loss ↘ \searrow 不断下降,test loss ⇝ \leadsto 趋于不变:说明网络过拟合;
  • train loss ↘ \searrow 不断下降,test loss ↘ \searrow 不断下降: 说明网络仍在学习;
  • train loss ↘ \searrow 不断下降,test loss ↘    ↗ \searrow \; \nearrow 先下降后升高:

  • train loss ⇝ \leadsto 趋于不变,test loss ↗ \nearrow 不断上升,
  • train loss ⇝ \leadsto 趋于不变,test loss ⇝ \leadsto 趋于不变: 说明学习遇到瓶颈,需要减小学习率或批量数目;
  • train loss ⇝ \leadsto 趋于不变,test loss ↘ \searrow 不断下降: 说明数据集100%有问题;

  • train loss ↗ \nearrow 不断上升,test loss ↗ \nearrow 不断上升:说明网络结构设计不当,训练超参数设置不当,数据集经过清洗等问题。
  • train loss ↗ \nearrow 不断上升,test loss ⇝ \leadsto 趋于不变,
  • train loss ↗ \nearrow 不断上升,test loss ↘ \searrow 不断下降,

train loss ↘ \searrow ↗ \nearrow 先降后升

这种情况可能是由于loss函数存在比较奇怪的地方,导致梯度爆炸。参考网址
【pytorch深度学习 应用篇02】训练中loss图的解读,训练中的问题与经验汇总_第1张图片

你可能感兴趣的:(编程技术,深度学习,pytorch,人工智能)