最小二乘估计

1. 针对问题

考察一类估计，它们一般不具有最佳的性质。特点是对观测数据没有任何概率假设，只需要假设一个信号模型。LS应用比较广泛，但不足就是不能保证最佳的估计，而且若没有对数据的概率结构做某些特定的假设，那么统计性能时无法估计的。

2 .对比

MVUE：一个无偏最小方差的估计量；对参数值来进行度量，寻找使估计的值与真是参数值差距达到最小。

LSE：给定观测数据x[n]和假定的信号s[n]（无噪声数据）之差的平方和达到最小。

3. LS控制模型

                                                 

目标： 的最小二乘估计量选择那个使信号s[n]最靠近观测数据x[n]的值。

靠近度由LS误差来度量： 

Remark：J与θ的关系使通过s[n]联系起来的；没有对任何x[n]做任何概率（统计）假设；s[n]是完全确定性的信号，且与θ有关。

4. LS

考虑信号对待估参数是线性关系，而信号本身可能并非线性。

i）标量下：信号模型设为——    h[n]为已知序列

                  LS指标：

                 minJ：

ii）矢量下： S=Hθ

                   满秩（N>P）——确保可逆。

                  

                  

iii）考虑加权矩阵W：

                                  

5. 按阶递推的LS

信号模型未知，需假设信号模型。因为是假设的信号模型，因此对于LSE的影响很大，故需要进行精准模型建立，就是增加多项式的阶次，直到LS误差达到需求为止。

信号模型 ：类似   这种模型

Remark：当模型增加一个阶次时（增加了一个参数），其他上一阶估计的参数不变。

先假设模型为K个参数的多项式 ，得到LSE估计   

现在增加到K+1个参数的多项式： 此时 

则有                          

其中                               

6. 序贯最小二乘估计

多数信号处理中，数据是按照时间顺序获取的，当可供使用的数据越来越多时，有两者选择

1）获取所有可用数据后在进行处理

2）按照时间顺序进行数据处理

若已确定基于数据{x[0],...,x[N-1]}——x[n]=s[n]+w[n]（假定w[n]服从零均值方差为的高斯分布）的LSE ，现在又获得新数据 x[N]，可不用重新用公式进行计算。

通过修改 得到新数据序列的LSE，估计量递推 

其中  ， 方差  

7. 约束LS

未知参数受到限制的LS问题

若 θ 受 r

解决过程：拉格朗日乘子法： 

                  取θ梯度为0推导出：    ,   

8. 非线性LS

针对 s[n]信号与待估计参数θ不为线性情况

解决方法：

1）参数变换：寻找一个 θ 的一对一变换（），得到新空间中的一个线性信号模型。

因为是一对一变换，则反函数存在：  ，然后找到函数 g 使得： 为线性。进而可以得到， 而  

2）参数分离

信号模型是 θ 的 非线性，但若存在部分参数是线性的，则可进行参数分离。

假定        ，上部分为非线性，下部分为线性。

假定 α 已知，  ， H(α)是一个与α相关的N×q矩阵

此时， 

将 α 固定：

将  估计带回 得到： 

最后最小  求取  即可。