最小二乘估计心得

基本思想

存在一组观察值$(x_i,y_i)$，其中$y_i$和$x_i$之间满足一定的线性关系，如
$$y=a_0{f}_0(x)+a_1{f}_1(x)+...+a_{m-1}{f}_{m-1}(x)$$
其中$f_i(x)$是已知的，$a_i$未知。
由于测量过程中存在一定的误差，所以导致测量得到的$y_i$具有一定的误差，即
$$y_i=a_0{f}_0(x_i)+a_1{f}_1(x_i)+...+a_{m-1}{f}_{m-1}(x_i)+e_i$$
假设，我们由$n$组观察值，将其写为矩阵的形式
$$y=Ha+e$$
$y$和$e$为一个$n\times 1$的向量，$a$为$m\times 1$的向量，$H$为一个已知的$n\times m$的矩阵
( f 0 ( x 0 ) f 1 ( x 0 ) . . . f m − 1 ( x 0 ) f 0 ( x 1 ) f 1 ( x 1 ) . . . f m − 1 ( x 1 ) . . . . . . . . . . . . f 0 ( x n − 1 ) f 1 ( x n − 1 ) . . . f m − 1 ( x n − 1 ) ) \begin{pmatrix} f_0(x_0) & f_1(x_0) & ... & f_{m-1}(x_0) \\ f_0(x_1) & f_1(x_1) & ... & f_{m-1}(x_1) \\ ... & ... & ... & ... \\ f_0(x_{n-1}) & f_1(x_{n-1}) & ... & f_{m-1}(x_{n-1})\end{pmatrix} ​f0​(x0​)f0​(x1​)...f0​(xn−1​)​f1​(x0​)f1​(x1​)...f1​(xn−1​)​............​fm−1​(x0​)fm−1​(x1​)...fm−1​(xn−1​)​ ​
由于测量误差满足高斯分布，由最大似然估计可得，选取使得$|y-Ha{|}^2$达到最小值的$\hat{a}$就是最真实$a$的最优估计。

最小二乘估计表达式推导过程

令代价函数$L(a)=|y-Ha{|}^2$，将$L(a)$对$a$进行求导可得
$$\frac{\partial L(a)}{\partial a}=-2H^{T}y+2H^{T}Ha$$
令其为零可得
$$\hat{a}=(H^{T}H{)}^{-1}{H}^{T}y$$

举例说明

利用matlab生成一组数据，满足如下的表达式
$$y=a_0{f}_0(x)+a_1{f}_1(x)+a_2{f}_2(x)+e(x)$$
其中$a_0=1$ , $a_1=2$, $a_2=10$, $f_0(x)=x$, $f_1(x)=e^x$, $f_2(x)=x^2$，$e(x)$服从标准正态分布

% 测试LSM算法
% f0 = 1; f1 = e^x; f2 = x^2
% a0 = 1; a1 = 2; a2 = 10
t = 0 : 0.01 : 3;
f0 = ones(1, length(t));
f1 = exp(t);
f2 = t.^2;
% f1 = t;
% f2 = t.^2;

a0 = 1;
a1 = 2;
a2 = 10;

H = [f0' f1' f2'];
y = a0*f0 + a1*f1 + a2*f2 + randn(1, length(t));
y = y';

est_a = inv(H'*H)*H'*y;

plot(y);
hold on
plot(est_a' * [f0;f1;f2]);
legend('带有噪声的观测量', '估计得到的观测量')

得到的结果如下：
得到的$\hat{a}=[0.9807,1.9565,10.0977]$，可以看到能够较好地估计原理论值$a=[1,2,10]$