线性回归模型损失和优化

学习任务

使用正规方程对损失函数优化的过程
使用梯度下降法对损失函数优化的过程

优化方法

正规方程

正规方程,一次就可以求得最合适的值

理解：X为特征矩阵，y为目标值矩阵。直接求得最好的结果
缺点：当特征值过多复杂时，求解速度太慢并且得不到结果。

正规方程推导过程

梯度下降

     梯度是微积分中一个很重要的概念，在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率;在多变量函数中，梯度是一一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向;
    这也就说明了为什么我们需要千方百计的求取梯度!我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向
     就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的反方向一直走，就能走到局部的最低点!

梯度下降公式

两者的对比

如何选择

小规模数据

    ·正规方程：LinearRegression（不能解决拟合问题）

    ·岭回归

大规模数据

·梯度下降法：SGDRegressor