最小二乘法与最优线性滤波

参考书目《现代数字信号处理》国防科技大学出版社：

问题来源：第二章最佳线性估计与第四章最优线性滤波在解的形式上十分接近，他们又有什么内在关系呢？

特点：本文从矩阵的角度来阐述系统，并充分利用了Toeplitz的特性推导出了为什么FIR滤波求解系数要用输入的自相关和输入与输出的互相关。阐述了广义的最小二乘与最优线性滤波的内在联系。

首先先介绍一下广义的基于最小二乘的线性估计(本文将求解过程尽可能用矩阵表达)即：

                                            

从数学的角度来看H就是一个变换矩阵，但是如果从系统的角度考虑，矩阵H可以看作是一个时变非因果系统（假设H每个元素都非零且不相等“吴昊同学的观点”）。这是因为如果矩阵的每一行都不相等，说明系统的参数在变化，即是一个时变系统；又因为每一个时刻的输出可以由后面的输入决定，所以说明是一个非因果系统。从这一点可以看出来最优线性滤波只是这的一个特例。因为对于线性滤波我们只需将H换成一个Toeplitz矩阵就可以了（因为卷积可以用一个toeplitz矩阵来表示）。

接下来介绍最优线性滤波器（FIR）：

              

                          

                                          

上述过程基本都是用到了toeplitz矩阵的性质。Y的表达式之所以能有两种方式表达主要原因就是Toeplitz的性质！值得注意的是X估计的长度最长为：输入序列的长度加FIR滤波器的阶数-1，所以如果我们在输入序列长度与期望输出序列长度差别较大的时候要增大FIR滤波器的阶数来减小误差。

 最有意思的是最后一步，将求解的过程利用输入的自相关和输入与输出的互相关来表达，转化的过程也是利用了Toeplitz矩阵的特点。可以发现toeplitz在求相关的时候特别方便，有关toeplitz潜在的性质我觉得值得进一步探讨！！！