损失函数 Loss、梯度 grad、参数 ω 和 学习率 lr 之间的关系

举一个简单的函数 $y=x^2$，梯度为 $g(x)=\frac{\partial y}{\partial x}=2x$。设学习率为 $lr$，那么

更新一次梯度后为：$x_1=x_0-lr\ast g(x_0)=x_0-lr\ast 2x_0=(1-2\ast lr)x_0$

更新 n 次后的梯度为 $x_n=(1-2\ast lr)x_{n-1}=(1-2\ast lr{)}^2{x}_{n-2}=...=(1-2\ast lr{)}^n{x}_0$

由上述式子可以看出，因为 $1-2\ast lr<0$，所以当 $1-2\ast lr<-1$ 即 $lr>1$ 时，几个迭代后梯度将会出现爆炸的情况。

---

设 损失函数 $L$ 在 ${\omega }_0$ 处的梯度为
$$g({\omega }_0)=\frac{\partial L}{\partial {\omega }_0}$$

更新后
$${\omega }_1={\omega }_0-l\ast g({\omega }_0)$$

继续上述过程，可以得到
$$\begin{array}{rl}{\omega }_2& ={\omega }_1-l\ast g({\omega }_1)\\ & ={\omega }_0-l\ast g({\omega }_0)-l\ast g({\omega }_1)\\ & ={\omega }_0-l\ast g({\omega }_0)-l\ast g({\omega }_1)\\ & ={\omega }_0-l\sum _{i=0}^{1}g({\omega }_i)\end{array}$$

所以
$${\omega }_n={\omega }_0-l\sum _{i=0}^{n-1}g({\omega }_i)$$

第 $n$ 次的权重值 ${\omega }_n$，由权重初始值 ${\omega }_0$ 和前 $n-1$ 次的梯度之和确定。当梯度稳定变小时，表明损失函数接近最优值，越接近最优值时，梯度 $g({\omega }_i)$ 趋近于 $0$，此时 ${\omega }_n$ 将几乎不再变化，函数收敛。

如上图所示，梯度 grad 由 损失函数 Loss 确定，损失函数越大时，梯度也越大。待优化参数 $\omega$ 由梯度 grad 和 学习率 lr 共同确定，参数更新后，损失函数也将缩小，从而进一步缩小梯度，直到损失函数最小，梯度为 0，此时得到最优解。如果参数 $\omega$ 更新后，损失函数不但没有缩小，反而增大，此时将进一步增大梯度，最终造成梯度爆炸。