学习率的选择

  • 学会画图去看学习率是否符合
    梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们不能提前预知,我们可以绘制迭代次数代价函数的值的图表来观测算法在何时趋于收敛。
    学习率的选择_第1张图片
    -自动测试方法
    也有一些自动测试是否收敛的方法,例如将代价函数的变化值与某个阀值(例如0.001,基本上的意思是趋向于0,几乎不会变化)进行比较,但通常看上面这样的图表更好。

  • 总结
    在这里插入图片描述
    通常可以考虑尝试些学习率慢慢进行调试:
    在这里插入图片描述

参考内容:
吴恩达机器学习笔记

你可能感兴趣的:(机器学习,学习)