【小笔记】从算法训练现象分析可能的参数设置问题-loss分析篇

【学而不思则罔,思而不学则殆】
9.30

首先给出一个理想的训练loss收敛图片:loss平滑的下降,并逐渐收敛到0.
平滑说明学习率设置较合适,收敛到0说明模型在参数空间中收敛到一个很理想的区域。
【小笔记】从算法训练现象分析可能的参数设置问题-loss分析篇_第1张图片

1.训练集的loss已经开始收敛了,但其值还是比较大

训练现象:

本质原因:
算法收敛到参数空间中某个较高的“平坦区域”,而无法逃离。
【小笔记】从算法训练现象分析可能的参数设置问题-loss分析篇_第2张图片

可能的参数原因及解决办法:

  • batch_size设置大了,太大的batch_size会导致更少的batch数量,当算法训练陷入鞍点或平原时,很难逃离;此时可以调小batch_size,观察loss是否会比刚才减少得更多。

2.loss在收敛到很接近0后,又突然增大。

训练现象
【小笔记】从算法训练现象分析可能的参数设置问题-loss分析篇_第3张图片

本质原因
算法在梯度下降时跳过了最佳的收敛点,导致loss增大

可能的参数原因及解决办法

  • 学习率设置过大了,较大的学习率会加速loss下降,但是可能会导致跳过最佳收敛点,而引起震荡现象。此时可以考虑减少学习率,或者采用动态学习率,刚开始使用一个较大的学习率以加快收敛,在较平稳的地方采用较小的学习率。

你可能感兴趣的:(算法篇,笔记,算法,机器学习,深度学习)