机器学习笔记----最小二乘法

一，参考的博文

如何理解最小二乘法？_马同学图解数学的博客-CSDN博客_最小二乘法

机器学习应该准备哪些数学预备知识？ - 知乎

什么是「最小二乘法」_remeber6666的博客-CSDN博客

二，什么是最小二乘法

最小二乘法主要用于解决函数模型最优解问题

最小二乘法，即：

使用下面的例子进行讲解：

最小二乘法是这样，要尽全力让这条直线最接近这些点

       那么问题来了，怎么才叫做最接近呢？直觉告诉我们，这条直线在所有数据点中间穿过，让这些点到这条直线的误差之和越小越好。这里我们用方差来算更客观。也就是说，把每个点到直线的误差平方加起来：

（如果上面的四个方程都能满足，那么S的值显然为0，这是最完美的，但如果做不到完美，我们就让这个S越小越好） 

      接下来的问题就是，如何让这个S变得最小。这里有一个概念，就是求偏导数。这里我想提一下，在培训的过程中，我发现机器学习的数学基础课程当中，微积分是大家印象最深刻的，而且也最容易理解：比如导数就是求变化率，而偏导数则是当变量超过一个的时候，对其中一个变量求变化率。要让S取得最小值，那最好是对β1和β2分别求导（对β1求导的时候，把β2当常量所以叫求偏导），值为0：

 很容易得出：

 这个函数也就是我们要的直线，这条直线虽然不能把那些点串起来，但它能最大程度上接近这些点。也就是说5公里的时候，成本为3.5+1.4x5=10.5块，虽然不完美，但是很接近实际情况。

三，什么是高斯牛顿法

    高斯牛顿法正是用于解决非线性最小二乘问题，达到数据拟合、参数估计和函数估计的目的。

参考的博文：

数值优化之高斯-牛顿法（Gauss-Newton）_图灵的猫i的博客-CSDN博客_gauss newton法