深度学习｜2.4 梯度下降

如上图，$J(w,b)$是由w和b两个参数共同控制的损失函数，损失是不好的东西，所以应该求取合适的w和b使得损失最小化。
为了简单考虑，可以先忽略参数b。

斜率可以理解成在朝着x正方向移动单位距离所形成的损失值的变化，如果损失值变大，那么x往负方向移动；如果斜率为负，损失值变小，说明可以继续往正方向移动，应该要加上一个正值。（负负得正）
其中学习率用于控制变化的过程。

学习率越小，参数变化就越小，越容易收缩到一个定值。