高斯与最小二乘法的故事

历史故事

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。

随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。

时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

别人问高斯，你用什么方法计算的，高斯说保密~

藏着掖着长达9年之久，最后高斯将其使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现"最小二乘法"，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。

公式介绍

最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。

公式如下：
$J(\theta )=\frac{1}{2}\sum _{i=0}^n(h_{\theta (x_i)}-y)(h_{\theta (x_i)}-y)$

$J(\theta )$表示损失函数； $y$ 表示目标值； $h_{\theta (x_i)}$ 表示预测函数，即方程、模型、算法。

下面是矩阵表示：

$J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$

我在马士兵教育，教授AIoT-人工智能物联网课程，欢迎你加入，深入学习！
代码点亮人生，代码改变世界~