对「曲线拟合」和「最小二乘法」的个人理解

在工程实践中,经常遇到类似的问题:

我们做了n次实验,获得了一组数据

然后,我们希望知道xy之间的函数关系。所以我们将其描绘在XOY直角坐标系下,得到下面这么一张点云图:


然后,我们发现,xy「可能」是线性的关系,因为我们可以用一条直线大致的将所有的样本点串连起来,如下图:

所以,我们可以「猜测」。接下来的问题,就是求出ab的值。


这看起来是一个很简单的问题,ab是两个未知数,我们只需要随意找出两个样本点,列出方程组:


两个未知数,两个方程,就可以求解出ab的值。


然而,在这里是不对的,或者说是不准确的。为什么呢?因为  这个函数关系,是我们「猜测」的,并不一定是客观正确的(虽然也许是正确的)。所以我们不能这么简单粗暴的方程组求解。

那怎么办呢?既然是「猜测」的,那么就存在误差。那么我们将这个函数关系稍加修正为:

这里,  分别是第i次实验的因变量、自变量、误差。

既然是「猜测」,那我们当然希望猜得准一点。那怎么衡量准确呢?自然和e有关系。

上式变型后可得:

在这里,ab才是自变量,e是函数值。

这里是最容易搞糊涂的地方,为什么a,b是自变量,而不是x,y

这就要提及「曲线拟合」的概念。所谓「拟合」就是说我们要找到一个函数,来「匹配」我们在实验中获得的样本值。放到上面的例子,就是我们要调整ab的值,来使得这个函数和实验中获得的数据更加「匹配」。所以,ab才是「曲线拟合」过程中的自变量。


接下来,继续如何让误差更小的问题。

「最小二乘法」的思想核心,就是定义一个损失函数:


显然,如果我们调整ab,使得Q达到最小,那么「曲线拟合」的误差也会最小。

这里,Qa,b的函数。根据高等数学的只是,Q的最小值点必然是其导数为0的点。

所以,我们令:



求解上述方程组,则可以解得ab的值。这就是最小二乘法的整个过程。

 

最后说明:

(1)最小二乘法英文名Least Squares,其实翻译成「最小平方法」,更容易让人理解。其核心就是定义了损失函数

(2)评价误差的方法不止一个,还有诸如  等(当然这就不是最小二乘法了);

(3)最小二乘法不仅可以用于一次函数的拟合,还可以用于更高次函数的拟合;

(4)最小二乘法既是一种曲线拟合的方法,也可用于最优化。


你可能感兴趣的:(数学)