【深度学习】学习率lr(Learning Rate)

学习率lr

学习率一般指在计算代价函数（损失函数Loss Function）时，控制函数自变量的变化大小（通常自变量为训练周期epoch），以使得因变量（损失值）渐趋最小或局部最小。
在深度学习中，我们希望每次训练的损失值越小越好，学习率正是用来降低损失值的一个影响自变量的常量。

自变量变化的公式

在变化公式中，公式右边求差的结果赋予左边。
原x减去lr与函数f(x)对x求偏导(即求所在点的斜率)的乘积得到新x的值。
也即：
当斜率为负的时候，新的x大于原来的x;
当斜率为正的时候，新的x小于原来的x。
（二者均使得因变量的值向最低点收拢）

损失值随自变量的变化反映在曲线图上是这样的：

学习率恰当的时候：

学习率过大的时候：

学习率太小，收拢效果不明显。