随机梯度下降法_通俗易懂讲解梯度下降法

前言：入门机器学习必须了解梯度下降法，虽然梯度下降法不直接在机器学习里面使用，但是了解梯度下降法的思维是后续学习其他算法的基础。网上已经有很多篇文章介绍梯度下降法。但大部分文章要么整一堆数学公式，要么就是简单说一下沿梯度的反方向下降最快就草草了事。本篇文章浅显易懂讲解，拥有高中数学知识即可看懂。

1.引入

我们先从一个案例入手，下图是一组上海市静安区的房价信息

（别看了，数据我瞎编的，上海市静安区的房价不可能这么便宜）

我们用Python在坐标系上面画出来如下图：

我们现在想拟合一个线性函数来表示房屋面积和房价的关系。我们初中都学过的一元一次函数表达式为：y=kx+b（k≠0）。很明显不可能有一对组合(k,b)全部经过上图7个点，我们只能尽可能地找到一对组合，使得该线性函数离上图7个点的总距离最近。

如上图所示，实际值与预测值之间差异的均方差我们把它称为损失函数，也有叫做成本函数或者代价函数的，意义都一样。我们希望找到一个组合（k，b）可以使得损失函数的值最小。上述只有一个输入变量x，如果我们多加入几个输入变量，比如卧室的数量、离最近地铁站的距离。最终目标变量和损失函数我们用下述函数表达式来表达：

现在我们的任务就是求出一组θ，在已知【x，y】的前提下使得损失函数的值最小。那么如何计算出θ了，使用什么方法了？

我们首先回到损失函数表达式本身，损失函数本身是一个y=x^2的形式，高中数学大家应该都学过这是一个开口向上的抛物线方程，大概长下图这样：

我们如何找到这个函数的最低点？上图是一个二维图，我们很轻松就可以肉眼看出x=0时，y最小。如果维度更多，比如z = (x-10)^2 + (y-10)^2，则得到下图：

我们如何定位出最小值，特别强调一点，这里的x是一个“大”参数的概念，x应该等于下述公式

大家要明确上图横坐标是x和y，函数表达式里的θ