最小二乘法笔记

 

最小二乘法 （又称 最小平方法 ）是一种 数学 优化 技术。

它通过最小化 误差 的平方和寻找数据的最佳 函数 匹配。

利用 最小二乘法 可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

看了之后一头雾水对不对，下面举个例子，就很好懂了。

针对线性最小二乘法即直线拟合，如下图（来自维基百科）所示：

 

 

透过这张图，我想大家一定能理解，我们用最小二乘法来做什么事情，即：

根据已有的数据（图中的点），来做出一条最贴近数据发展趋势的直线。

通过这条直线，我们可以对未来的数据进行预测，因为基本会落在这条直线附近。

当然了，最小二乘法不只是直线，还可以是曲线，本文不讨论。

 

3. 求解直线方程

我们现在要做的，就是求解直线方程。

 

假设已知有N个点，设这条直线方程为：  y = a·x + b

其中，a和b的计算公式如下：

 

本文对于推导过程不再赘述，网上都有。