极大似然估计与最小化平方误差的关系

极大似然估计与最小化平方误差的关系

最小化平方误差问题与（在噪声是高斯分布假设下的）最大似然估计是等价的。

证明

同样是解决直线拟合问题：

最小化S(a,b)即为最小化平方误差问题
最终可解的：

最小二乘与极大似然方法的关系

最小二乘法是在概率密度为高斯的情况下最大似然估计的一种特殊情况。最小二乘估计是最大似然估计的一个特例。