最小二乘的理论依据

在做数据建模或者曲线拟合的时候，我们通常会用到最小二乘法。假设作为数学模型的函数为y=f(x,S)，其中S为参数集向量（即一系列的参数），x为自变量。在这种情况下，为了求出S，需要对下式进行极小化：

       即：对已知的一个数据集xi(i=1,2,⋯,n)，能极小化该式的S就是最优参数。但是这个式子是怎么来的呢？

它是从最大似然估计方法得到的：对参数S，能使已知数据集发生的概率越大，那么就说明我们取的S越优良。注意，对于一组已知的数据集，参数S几乎不可能使每个xi都满足我们假设的数学模型，因此这里所说的“使已知数据集发生的概率越大”，这个“发生”，是指yi∈[f(xi,S)−δ,f(xi,S)+δ]，其中δ为允许的误差。

假设所有数据点的测量误差独立、符合正态分布，且标准差相等，则每一个数据点发生的概率为：

整个数据集同时发生的概率为各数据点概率之积：

文章来源：http://www.codelast.com/

     如前文所述：对参数S，能使已知数据集发生的概率越大，那么就说明我们取的S越优良。因此，使上式最大化就是我们的目标。由于δ为正常数，f(x)=ex为单调递增函数，因此，想要：

就等于：

文章来源：http://www.codelast.com/

       等同于：

       继续化简：

       相当于：

文章来源：http://www.codelast.com/

       现在，由于σ是常数，上式就等同于：

       这就得到了我们要推导的结论。

http://www.codelast.com/?p=1027