最小二乘问题,,而不是方法

最小二乘是一大类问题,而不是一个简单的方法

适用于:线性(非线性)方程组问题,如果观测带有噪声,我们需要建立最小二乘模型。如果噪声符合高斯分布,即最小二乘问题的解对应于原问题的最大似然解。

如果方程组是线性的(很好将测量值和待估计值分离),我们称问题为线性最小二乘问题,否则称其为非线性最小二乘问题

线性最小二乘问题求解方法:
1)非齐次方程组
AX=b
最小二乘问题,,而不是方法_第1张图片

2)齐次方程组
AX=0
SVD分解

非线性最小二乘问题求解方法:
最小二乘问题,,而不是方法_第2张图片
整体能够看的出来,线性的可以直接解公式,非线性的则需要求导,利用迭代求解

例子1:
假设我们要求重力加速度,h=1/2gt^2
我们测了很多组高度和时间,因此这个问题是线性最小二乘问题,可以用正规方程组法

例子2:
假设我们有一个方程有很多未知数,其中未知数有角度,幂指数等,这些未知数我们无法直接拆解出来
这个问题是非线性最小二乘问题,我们用迭代方法,可以选用高斯牛顿法或者LM法
我们需要首先构造观测方程:在观测值和待估参数之间建立的函数关系式。

L为观测值,f(x)为函数值,V(x)为观测残差,x为未知参数组成的向量 最小二乘准测为求x^使得观测残差的平方最小
由于LL是恒定的,因此目标函数为
然后利用高斯牛顿法进行迭代求解(这里有个关键问题,你需要对每个变量进行求导,获得雅可比矩阵,但是你手算求导肯定是很难的,可以借助matlab求导)

高斯牛顿

你可能感兴趣的:(数学基础,matlab,线性代数,矩阵,最小二乘法)