Adaptive Filter Learning Notes 自适应滤波学习笔记03 自回归模型
这是一个学习笔记系列。为督促自己看书，尽量更新。但同时也在学其他东西，也不知道能不能实现。少玩耍，多读书。
应该会慢慢改进，会慢慢补充每一个部分的笔记。
文章目录
- Stochastic Progress and Models
- 渐近平稳自适应模型
- 渐近平稳自回归过程的互相关函数
- Yule-Walker方程
- { a k } \{a_k\} {ak}
- σ ν 2 \sigma_{\nu}^2 σν2
Stochastic Progress and Models
渐近平稳自适应模型
回顾一下 M M M阶自适应模型 u ( n ) + a 1 ∗ u ( n − 1 ) + ⋯ + a M ∗ u ( n − M ) = ν ( n ) . u(n)+a_1^*u(n-1)+\dots+a_M^*u(n-M)=\nu(n). u(n)+a1∗u(n−1)+⋯+aM∗u(n−M)=ν(n).该系统的解可以表示为补充函数(complementary function) u c ( n ) u_c(n) uc(n)和特解(particular solution) u p ( n ) u_p(n) up(n)的和，即 u ( n ) = u c ( n ) + u p ( n ) u(n)=u_c(n)+u_p(n) u(n)=uc(n)+up(n)。
- u c ( n ) u_c(n) uc(n)是齐次方程(homogeneous equation) u ( n ) + a 1 ∗ u ( n − 1 ) + ⋯ + a M ∗ u ( n − M ) = 0 u(n)+a_1^*u(n-1)+\dots+a_M^*u(n-M)=0 u(n)+a1∗u(n−1)+⋯+aM∗u(n−M)=0的解。一般地， u c ( n ) = B 1 p 1 n + B 2 p 2 n + ⋯ + B M p M n u_c(n)=B_1p_1^n+B_2p_2^n+\dots+B_Mp_M^n uc(n)=B1p1n+B2p2n+⋯+BMpMn， B 1 , B 2 , … , B M B_1,B_2,\dots,B_M B1,B2,…,BM是任意常数， p 1 , p 2 , … , p M p_1,p_2,\dots,p_M p1,p2,…,pM是 1 + a 1 ∗ z − 1 + a 2 ∗ z − 2 + ⋯ + a M ∗ z − M = 0 1+a_1^*z^{-1}+a_2^*z^{-2}+\dots+a_M^*z^{-M}=0 1+a1∗z−1+a2∗z−2+⋯+aM∗z−M=0的根。
- 特解可定义为 u p ( n ) = H G ( D ) [ ν ( n ) ] u_p(n)=H_G(D)[\nu(n)] up(n)=HG(D)[ν(n)]，其中 H G ( z ) = 1 ( 1 − p 1 z − 1 ) ( 1 − p 2 z − 1 ) … ( 1 − p M z − 1 ) H_G(z)=\frac{1}{(1-p_1z^{-1})(1-p_2z^{-1})\dots(1-p_Mz^{-1})} HG(z)=(1−p1z−1)(1−p2z−1)…(1−pMz−1)1， D D D是延迟算子(unit-delay operator)。
如何确定 B i B_i Bi的值呢？可以假设一些初始条件，如KaTeX parse error: Can't use function '\u' in math mode at position 17: …(0)=u(-1)=\dots\̲u̲(-M+1)=0，这样有 M M M个等式，正好可以确定 M M M个未知数。但这种对初值的假设明显破坏了平稳性的要求。但是，若 ∣ p k ∣ < 0 , ∀ k |p_k|<0, \forall k ∣pk∣<0,∀k，那么在 n → ∞ n\to\infty n→∞时，这个过程是趋于平稳的。所以我们要求渐近平稳的自回归过程的滤波器的极点都要在单位圆之内。
渐近平稳自回归过程的互相关函数
∑ k = 0 M = ν ( n ) \sum_{k=0}^{M}=\nu(n) k=0∑M=ν(n) E [ ∑ k = 0 M a k ∗ u ( n − k ) u ∗ ( n − l ) ] = E [ ν ( n ) u ∗ ( n − l ) ] . \mathbb{E}\left[\sum_{k=0}^{M}a_k^*u(n-k)u^*(n-l)\right]=\mathbb{E}\left[\nu(n)u^*(n-l)\right]. E[k=0∑Mak∗u(n−k)u∗(n−l)]=E[ν(n)u∗(n−l)]. ∑ k = 0 M a k ∗ r ( l − k ) = 0 , l > 0 \sum_{k=0}^{M}a_{k}^*r(l-k)=0,\quad l>0 k=0∑Mak∗r(l−k)=0,l>0 r ( m ) = ∑ k = 1 M C k p k m , r(m)=\sum_{k=1}^{M}C_kp_k^m, r(m)=k=1∑MCkpkm, p k p_k pk是对应方程的根。因为设的是渐近平稳过程所以 ∣ p k ∣ < 1 |p_k|<1 ∣pk∣<1，那么 r ( m ) → 0 , m → ∞ r(m)\to 0, m\to\infty r(m)→0,m→∞。更具体得，若 p k p_k pk是实数，那它贡献了一个指数衰减的部分，若 p k p_k pk是复数，那它贡献了一个正弦衰减的部分。所以渐近平稳自回归过程的互相关函数由指数衰减和正弦衰减组成。
Yule-Walker方程
要确定一个自回归模型就需要确定自回归系数 a 1 , a 2 , … , a M a_1,a_2,\dots,a_M a1,a2,…,aM和白噪声 ν ( n ) \nu(n) ν(n)的方差 σ ν 2 \sigma_{\nu}^2 σν2。
{ a k } \{a_k\} {ak}
∑ k = 0 M a k ∗ u ( n − k ) = ν ( n ) \sum_{k=0}^{M}a_{k}^{*}u(n-k)=\nu(n) k=0∑Mak∗u(n−k)=ν(n) ∑ k = 0 M a k ∗ r ( l − k ) = 0 , l > 0 \sum_{k=0}^{M}a_{k}^{*}r(l-k)=0,\quad l>0 k=0∑Mak∗r(l−k)=0,l>0 r ( l ) = − a 1 ∗ r ( l − 1 ) − a 2 ∗ r ( l − 2 ) − ⋯ − a M ∗ r ( l − M ) r(l)=-a_1^*r(l-1)-a_2^*r(l-2)-\dots-a_M^*r(l-M) r(l)=−a1∗r(l−1)−a2∗r(l−2)−⋯−aM∗r(l−M) r ( − l ) = − a 1 r ( 1 − l ) − a 2 r ( 2 − l ) − ⋯ − a M r ( l − M ) r(-l)=-a_1r(1-l)-a_2r(2-l)-\dots-a_Mr(l-M) r(−l)=−a1r(1−l)−a2r(2−l)−⋯−aMr(l−M) 令 w k = − a k w_k=-a_k wk=−ak，有 [ r ( 0 ) r ( 1 ) … r ( M − 1 ) r ( − 1 ) r ( 0 ) … r ( M − 2 ) ⋮ ⋮ ⋱ ⋮ r ( − M + 1 ) r ( − M + 2 ) … r ( 0 ) ] [ w 1 w 2 ⋮ w M ] = [ r ( − 1 ) r ( − 2 ) ⋮ r ( − M ) ] \left[\begin{matrix} r(0) & r(1) & \dots & r(M-1) \\ r(-1) & r(0) & \dots & r(M-2) \\ \vdots & \vdots & \ddots & \vdots \\ r(-M+1) & r(-M+2) & \dots & r(0) \end{matrix}\right]\left[\begin{matrix} w_1\\ w_2\\ \vdots \\ w_M \end{matrix}\right]=\left[\begin{matrix} r(-1)\\ r(-2)\\ \vdots \\ r(-M) \end{matrix}\right] ⎣⎢⎢⎢⎡r(0)r(−1)⋮r(−M+1)r(1)r(0)⋮r(−M+2)……⋱…r(M−1)r(M−2)⋮r(0)⎦⎥⎥⎥⎤⎣⎢⎢⎢⎡w1w2⋮wM⎦⎥⎥⎥⎤=⎣⎢⎢⎢⎡r(−1)r(−2)⋮r(−M)⎦⎥⎥⎥⎤ R w = r \boldsymbol{R}\boldsymbol{w}=\boldsymbol{r} Rw=r这个就是Yuler-Walker方程。关于自相关矩阵 R \boldsymbol{R} R的性质可以看自适应滤波学习笔记01。 R \boldsymbol{R} R是可逆的，所以知道 { r ( k ) } \{r(k)\} {r(k)}，或者说知道 { ρ k = r ( k ) r ( 0 ) } \{\rho_k=\frac{r(k)}{r(0)}\} {ρk=r(0)r(k)}就能知道 { a k } \{a_k\} {ak}了。
σ ν 2 \sigma_{\nu}^2 σν2
E [ ν ( n ) u ∗ ( n ) ] = E [ ν ( n ) ν ∗ ( n ) ] = σ ν ∗ , \mathbb{E}[\nu(n)u^*(n)]=\mathbb{E}[\nu(n)\nu^*(n)]=\sigma_{\nu}^*, E[ν(n)u∗(n)]=E[ν(n)ν∗(n)]=σν∗, E [ ν ( n ) u ∗ ( n ) ] = E [ ∑ k = 0 M a k ∗ u ( n − k ) u ∗ ( n ) ] = ∑ k = 0 M a k ∗ r ( − k ) = ∑ k = 0 M a k r ( k ) , \mathbb{E}[\nu(n)u^*(n)]=\mathbb{E}[\sum_{k=0}^{M}a_{k}^*u(n-k)u^*(n)]=\sum_{k=0}^{M}a_{k}^*r(-k)=\sum_{k=0}^{M}a_{k}r(k), E[ν(n)u∗(n)]=E[k=0∑Mak∗u(n−k)u∗(n)]=k=0∑Mak∗r(−k)=k=0∑Makr(k), σ ν 2 = ∑ k = 0 M a k r ( k ) . \sigma_{\nu}^2=\sum_{k=0}^{M}a_{k}r(k). σν2=k=0∑Makr(k).
Adaptive Filter Learning Notes 自适应滤波学习笔记01 随机过程
Adaptive Filter Learning Notes 自适应滤波学习笔记02 随机过程模型