维纳滤波器

维纳滤波器

1.wiener filter

维纳滤波器是一个均方误差最小准则下的最优滤波器，定义一个离散线性时不变系统，输入$x(n)$、输出$\hat{y}(n)$，参考信号$d(n)$

误差信号
$$e(n)=\hat{y}(n)-d(n)\text{\hspace{1em}(1)}$$
定义长度$M$的FIR滤波器$\mathbf{h}$如下
$$\begin{array}{rl}\mathbf{h}& =[h_0,h_1.....h_{M-1}{]}^T\\ \hat{y}(n)& =\sum _{m=0}^{M-1}x(n-m)\ast h(m)\end{array}\text{\hspace{1em}(2)}$$

维纳滤波器的目标寻找一组滤波器系数使误差信号的均方误差最小
$$\mathbf{h}=argminE[e^2(n)]\text{\hspace{1em}(3)}$$
其中E为数学期望，将（3）式展开
$$\begin{array}{rl}E[e^2(n)]& =E[(\hat{y}(n)-d(n{)}^2]\\ & =E[{\hat{y}}^2(n)]-2\ast E[\hat{y}(n)\ast d(n)]+E[d^2(n)]\end{array}\text{\hspace{1em}(4)}$$
代入$\hat{y}(n)$，继续
$$\begin{array}{rl}E[e^2(n)]=& E[(\sum _{m=0}^{M-1}x(n-m)\ast h(m){)}^2]-\\ & 2\ast E[(\sum _{m=0}^{M-1}x(n-m)\ast h(m))\ast d(n)]+\\ & E[d^2(n)],\end{array}\text{\hspace{1em}(5)}$$
误差函数对各权值求偏微分，这个复合函数求导可看这里
$$\begin{array}{rl}\frac{\Delta E[e^2(n)]}{h_i}=2& E[\sum _{m=0}^{M-1}x(n-m)\ast h(m)\ast x(n-i)]-\\ 2& E[x(n-i)d(n)],\\ =2& \sum _{m=0}^{M-1}E[x(n-m)\ast x(n-i)]\ast h(m)-\\ 2& E[x(n-i)d(n)],i=0,1....M-1\end{array}\text{\hspace{1em}(6)}$$
这里假设$x(n)和d(n)$为平稳随机过程且联合平稳，则有自相关函数$r_{xx}$和互相关函数$r_{xd}$如下
$$\begin{array}{rl}{r}_{xx}(m)& =E[x(n)x(n-m)]\\ r_{xd}(m)& =E[x(n)d(n-m)]\end{array}\text{\hspace{1em}(7)}$$
上式中m为第二个信号相对第一个信号的延时，平稳随机信号的相关函数只与信号的延时有关，与信号的起始位置无关，则（6）使可以去掉期望符号重写成
$$\begin{array}{rl}\frac{\Delta E[e^2(n)]}{h_i}=2& \sum _{m=0}^{M-1}{r}_{xx}(i-m)\ast h(m)-\\ 2& r_{xd}(-i),i=0,1....M-1\end{array}\text{\hspace{1em}(8)}$$
当均方误差最小时，(8)式中的导数等于0，
$$\sum _{m=0}^{M-1}{r}_{xx}(i-m)\ast h(m)=r_{xd}(-i),i=0,1....M-1\text{\hspace{1em}(9)}$$
(9)式就是Wiener–Hopf equations，注意，写这个式子的时候要注意与相关函数的定义对应起来，有的地方定义$r_{xd}(m)=E[x(n)x(n-m)]$，或者$r_{dx}(m)=E[x(n)x(n+m)]$，自相关函数是偶对称的($r_{xx}(i-j)=r_{xx}(j-i)$)，而互相关并不对称，$r_{xd}(k)=r_{dx}(-k)$，因此要注意(9)式的符号。

继续，将(9)式写成矩阵的形式
$$\mathbf{R}\ast \mathbf{h}={\mathbf{r}}_{\mathbf{d}\mathbf{x}}\text{\hspace{1em}(10)}$$
展开表示为
$$\left[\begin{array}{cccc}r(0)& r(1)& \cdots & r(M-1)\\ r^{\ast }(1)& r(0)& \cdots & r(M-2)\\ ⋮& ⋮& \ddots & ⋮\\ r^{\ast }(M-1)& r^{\ast }(M-2)& \cdots & r(0)\end{array}\right]\ast \left[\begin{array}{c}{h}_0\\ h_1\\ ⋮\\ h_{M-1}\end{array}\right]=\left[\begin{array}{c}{r}_{dx}(0)\\ r_{dx}(1)\\ ⋮\\ r_{dx}(M-1)\end{array}\right]\text{\hspace{1em}(11)}$$

这样，维纳滤波在时域的闭式解就为
$${\mathbf{h}}_{\mathbf{o}\mathbf{p}\mathbf{t}}={\mathbf{R}}^{-1}\ast {\mathbf{r}}_{\mathbf{d}\mathbf{x}}\text{\hspace{1em}(12)}$$
计算这个式子需要观测信号的$M\ast M$自相关矩阵跟观测信号和期望信号$M\ast 1$的互相关函数
同样，将最优解代入到误差函数中，可以得到最小均方误差如下
$$\begin{array}{rl}E[e^2(n){]}_{min}& ={\sigma }_d^2-{{\mathbf{r}}_{\mathbf{d}\mathbf{x}}}^H{\mathbf{h}}_{\mathbf{o}\mathbf{p}\mathbf{t}}\\ & ={\sigma }_d^2-{{\mathbf{r}}_{\mathbf{d}\mathbf{x}}}^H{\mathbf{R}}^{-1}{\mathbf{r}}_{\mathbf{d}\mathbf{x}}\end{array}$$

2.code

在MATLAB里验证一下维纳滤波器闭式解

% clear all
close all
T = 100000;
x = randn(T,1);
% 
h = [1.2,4.7,3.6,5.5,0.8]';
M = length(h);
d  = filter(h,1,x);   
[r,lag1] = xcorr(x,'unbiased');
R = zeros(5,5);
% 利用相关函数的值计算相关矩阵
for i = 1:5
    for j = 1:5
        R(i,j) = r(find(lag1==(i-j)));
    end
end
[p,lag2] = xcorr(x,d,'unbiased');
P = zeros(M,1);
for i = 0:M-1
    P(i+1) = p(find(lag2==(i*-1)));
end
h
h_opt = R\P
e_min = var(d)-P'*h_opt
figure,stem(h)
hold on,plot(h_opt)
legend('filter weighs','estimated weights');

从结果上看，闭式解求得的权值和实际权值一致。代码里调用了matlab的xcorr函数，在取互相关函数值的位置(lag)时要，注意互相关函数的定义与闭式解的形式一致

3.求导计算

这里记录一下误差函数的求导
$$\begin{array}{rl}E[e^2(n)]=& E[(\sum _{m=0}^{M-1}x(n-m)\ast h(m){)}^2]-\\ & 2\ast E[(\sum _{m=0}^{M-1}x(n-m)\ast h(m))\ast d(n)]+\\ & E[d^2(n)],\end{array}\text{\hspace{1em}(13)}$$
这里就只看第一个求和式子
$$\begin{array}{rl}f(n)& =E[(\sum _{m=0}^{M-1}x(n-m)\ast h(m){)}^2]\\ & =E[g^2(n)]\end{array}$$
要计算$\frac{\partial f(n)}{\partial h(m)}$,
$$\begin{array}{rl}\frac{\partial f(n)}{\partial h(m)}& =E[2\ast g(n)\ast \frac{\partial g(n)}{\partial h(m)}]\end{array}\text{\hspace{1em}(14)}$$
再计算$\frac{\partial g(n)}{\partial h(m)}$
$$\begin{array}{rl}g(n)& =\sum _{m=0}^{M-1}x(n-m)\ast h(m)\\ & =x(n)h(0)+x(n-1)h(1)\cdots x(0)h(M-1)\\ \frac{\partial g(n)}{\partial h(0)}& =x(n)\\ \frac{\partial g(n)}{\partial h(1)}& =x(n-1)\\ ⋮& \\ \frac{\partial g(n)}{\partial h(i)}& =x(n-i)\\ ⋮& \\ \frac{\partial g(n)}{\partial h(M-1)}& =x(n-M+1)\end{array}$$
所以
$$\frac{\partial g(n)}{\partial h(m)}=x(n-m)\text{\hspace{1em}(15)}$$
这样将(15)带入到(14)中，得到
$$\begin{array}{rl}\frac{\partial f(n)}{\partial h(i)}& =E[2\ast g(n)\ast \frac{\partial g(n)}{\partial h(i)}]\\ & =2E[g(n)x(n-i)]\\ & =2E[\sum _{m=0}^{M-1}x(n-m)\ast x(m)x(n-i)]\end{array}\text{\hspace{1em}(16)}$$
这样就完成了这个复合函数的求导，都展开写看其实也挺简单，主要是期望符号和求和符号有些容易混淆

Reference:
1.《数字信号处理：时域离散随机信号处理》
2.《自适应滤波器原理》
3. https://en.wikipedia.org/wiki/Wiener_filter