最小二乘法原理解析

• 最小二乘法历史背景：

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

• 最小二乘法定义：

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

• 最小二乘法原理解析：

  

假设目前已知三个数据点（1,2）、（2,1）、（2,3），想要通过最小二乘法拟合出一条直线，设直线方程为y=kx+b，则有如下方程组：

                                                                     2=k+b

                                                                     1=2k+b 

                                                                     3=2k+b

最小二乘法即求得一条直线，使所有数据点到该直线的距离平方和最小。因此只要求得如下函数的极小值对应的直线方程参数即可。

                             

对函数s(k,b)分别求关于k、b的偏导数，并使其等于0，得到如下方程组：

                                                                 

                                                                  

求解得出k=0，b=2。因此通过最小二乘法拟合得到的直线为y=2。