线性回归之最小二乘法（高斯-马尔可夫定理）

背景：

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。
法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。
勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔可夫定理。

通俗概念：

当在实验中获得自变量与因变量的一系列对应数据,(x1,y1),(x2,y2),(x3,y3),...(xn,yn)时,要找出一个已知类型的函数,y=f(x) ,与之拟合,使得实际数据和理论曲线的离差平方和:∑[yi-f(xi)]^2（从i=1到i=n相加）为最小.这种求f(x)的方法，叫做最小二乘法。

代数公式：

一个小列子说明（一阶线性回归的经典用法）：
设有x1,x2,x3,x4.xn,有y1,y2,y3,y4...yn,
则b=((x1*y1+x2*y2.+xn*yn)-n*x的平均数*y的平均数)/((x1^2+x2^2.+xn^2)-nx的平均数的平方）

 a=y-bx,其中y为y项的平均数x为x项中的平均数!

主要用途：

 在软件的机器学习中使用的非常广泛以及在日常工业中使用的也非常广泛。