最小二乘法
http://blog.sina.com.cn/s/blog_4e3141320100btml.html
最小二乘法
最小二乘法（又稱最小平方法）是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。
最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。
最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。
开题
1801意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星，在40天的跟踪观测后，谷神星运行至太阳背后。皮亚齐失去了谷神星的位置。随后全世界的科学家通过皮亚齐的观测数据开始了寻找谷神星的行动。但是大多数的计算都没有结果，只有当时年仅24岁的高斯成功计算出了谷神星的轨道，奥地利天文学家海因里希·奥尔伯斯在高斯计算出的轨道上重新发现了谷神星，从此高斯闻名世界。他的这个最小二乘的方法发表在1809年的著作《天体运动论》中。法国科学家勒让德也于1806年独立发明最小二乘法。
1829年，高斯提供了这个方法较其它方法为优的证明：最小二乘法在很大方面上优化效果强于其它方法，被称为高斯-莫卡夫定理。
方法
人们往往对由某一变量t或多个变量f1……fn构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y。尝试用如下函数模型
- ,
q个相关变量或p个附加的相关变量去拟和。
通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多於所选择的参数。
其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。
确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为
用欧几里德规则表达为：
最小化问题的精度，依赖于所选择的函数模型。
线性函数模型
典型的一类函数模型是线性函数模型。最简单的线性式是ym = x0 + x1t,写成行列式，为
直接给出该式的参数解：
- 和
其中，为t值的算术平均值。也可解得如下形式：
简单线性模型 y = x0 + x1t 的例子
随机选定10艘战舰，并分析它们的长度与宽度，寻找它们长度与宽度之间的关系。由下面的描点图可以直观地看出，一艘战舰的长度(t)与宽度(y)基本呈线性关系。
以下图表列出了各战舰的数据，随后步骤是采用最小二乘法确定两变量间的线性关系。
| 编号 | 长度 (m) | 宽度 (m) | ti - t | yi - y | |||
|---|---|---|---|---|---|---|---|
| i | ti | yi | ti* | yi* | t*y* | t*t* | y*y* |
| 1 | 208 | 21.6 | 40.2 | 3.19 | 128.238 | 1616.04 | 10.1761 |
| 2 | 152 | 15.5 | -15.8 | -2.91 | 45.978 | 249.64 | 8.4681 |
| 3 | 113 | 10.4 | -54.8 | -8.01 | 438.948 | 3003.04 | 64.1601 |
| 4 | 227 | 31.0 | 59.2 | 12.59 | 745.328 | 3504.64 | 158.5081 |
| 5 | 137 | 13.0 | -30.8 | -5.41 | 166.628 | 948.64 | 29.2681 |
| 6 | 238 | 32.4 | 70.2 | 13.99 | 982.098 | 4928.04 | 195.7201 |
| 7 | 178 | 19.0 | 10.2 | 0.59 | 6.018 | 104.04 | 0.3481 |
| 8 | 104 | 10.4 | -63.8 | -8.01 | 511.038 | 4070.44 | 64.1601 |
| 9 | 191 | 19.0 | 23.2 | 0.59 | 13.688 | 538.24 | 0.3481 |
| 10 | 130 | 11.8 | -37.8 | -6.61 | 249.858 | 1428.84 | 43.6921 |
| 总和(Σ) | 1678 | 184.1 | 0.0 | 0.00 | 3287.820 | 20391.60 | 574.8490 |
仿照上面给出的例子
并得到相应的.
然后确定x1
可以看出，战舰的长度每变化1m，相对应的宽度便要变化16cm。并由下式得到常数项x0：
在这里随机理论不加阐述。可以看出点的拟合非常好，长度和宽度的相关性大约为92％。
一般线性情况
若含有更多不相关模型变量t1,...,tq，可如组成线性函数的形式
即线性方程组
通常人们将tij记作数据矩阵 A，参数xj记做参数矢量x，观测值yi记作b，则线性方程组又可写成：
- 即 Ax = b
上述方程运用最小二乘法导出为线性平差计算的形式为：
- 。
最小化问题的解
外部链接
- http://www.physics.csbsju.edu/stats/least_squares.html
- http://www.zunzun.com
- http://www.orbitals.com/self/least/least.htm
- PlanetMath上最小二乘法的資料。