Adaptive Filter Learning Notes 自适应滤波学习笔记01 随机过程

这是一个学习笔记系列。为督促自己看书，尽量更新。但同时也在学其他东西，也不知道能不能实现。少玩耍，多读书。

应该会慢慢改进，会慢慢补充每一个部分的笔记。

Stochastic Progress and Models

一些定义

*本节出现的概念：随机过程(stochastic progress)，强平稳过程(strictly stationary progress)，均值函数(mean-value function)，自相关函数(autocorrelation funtion)，自协方差函数(autocovariance function)，均方值(mean-square value)，方差(covariance)，广义平稳（wide-sense stationary）或 弱平稳（weakly stationary），均值遍历性(mean ergodic)，相关矩阵(correlation matrix)

随机过程(stochastic progress) 是一个与时间有关的函数。这个系列里面关注的随机过程是关于时间离散的，且为等时距观测的过程。随机过程还是一个比较抽象和虚无缥缈的东西。我感觉和随机以及概率牵扯上的都天生有种朦胧感。如果一个离散时间随机过程在现实中实现，就看作是一个时间序列。为了表示的方便我们可以吧时距固定为1，设$u(n)$为当前（present） 的观测。

强平稳过程(strictly stationary progress) 是指其统计特性不随时间变化的过程。对于我们这里的考虑的随机过程来看就是指，$u(n),u(n-1),\dots ,u(n-M)$的联合概率密度函数是不随时间变化的。在实际情况中，随机过程的联合概率密度是很难测量到的，所以我们考虑随机过程的部分性质，即一阶矩和二阶矩。
为简化符号，$u(n)$也可用来代指整个随机过程。随机过程$u(n)$的均值函数(mean-value function) 为$$\mu (n)=\mathbb{E}[u(n)],$$其中$\mathbb{E}$表示求期望。自相关函数(autocorrelation function) 为$$r(n,n-k)=\mathbb{E}[u(n)u^{\ast }(n-k)],k=0,\pm 1,\pm 2,\dots$$其中${}^{\ast }$表示共轭。自协方差函数(autocovariance function) 为$$c(n,n-k)=\mathbb{E}[(u(n)-\mu (n))(u(n-k)-\mu (n-k){)}^{\ast }]=r(n,n-k)-\mu (n)\mu (n-k).$$对于强平稳过程来说前面这三个函数应该都是和时间没有关系的，也就是与$n$无关，$\mu (n)=\mu ,r(n,k)=r(k),c(n,k)=c(k)$。特别地，当$k=0$时，$r(0)=\mathbb{E}[|u(n){|}^2]$，即均方值(mean-square value)；$c(0)={\sigma }_u^2$，即方差(covariance)。当$\mu =0$时，$r(k)=c(k)$，在后面的众多滤波的分析中都是假设$\mu =0$的，故就都用的$r(k)$。

注：$\mu (n)=\mu ,r(n,k)=r(k),c(n,k)=c(k)$并不能保证随机过程是强平稳的，毕竟只是统计特性中的部分性质，但可以称这种随机过程是广义平稳（wide-sense stationary）或弱平稳（weakly stationary）。Doob 在1953年证明了$u(n)$是广义平稳的$\iff$对于任意的$n$，$\mathbb{E}[|u(n){|}^2]<0$【这个我没有搞太清楚也还没查证，先暂时放在这里，一般的物理或者工程上的随机过程都是能满足这个条件的】。

对于一个广义平稳过程来说，关于时间求平均到底是不是这个随机过程的均值？这里有一个相关的定理。设$$\hat{\mu }(N)=\frac{1}{N}\sum _{n=0}^{N-1}u(n).$$其实$\hat{\mu }(N)$也是一个随机变量，它的均值为$\mu$，所以它可以当作是随机过程均值的一个无偏差估计。很自然，我们会想$N$越大的时候是不是这个估计会更好，也就是方差会更小呢？如果一个广义平稳过程$u(n)$满足$$\underset{N\to \infty }{\lim }\mathbb{E}[|\mu -\hat{\mu }(N){|}^2]=0,$$则称这个广义平稳过程满足均方误差意义(mean-square-error sense )下的均值遍历性(mean ergodic)。简单的带入$\hat{\mu }(N)$以及变量替换$l=n-k$得到$$\underset{N\to \infty }{\lim }\mathbb{E}[|\mu -\hat{\mu }(N){|}^2]=\underset{N\to \infty }{\lim }\frac{1}{N}\sum _{l=-N+1}^{N-1}(1-\frac{|l|}{N})c(l).$$由此可见要满足均值便利性需要广义平稳过程在某种渐近意义下不相关。
类似地遍历的概念也可以扩展到二阶矩上。

下面要介绍一个后面滤波分析中常用到的矩阵相关矩阵(correlation matrix)，$$\mathbf{R}=\mathbb{E}[\mathbf{u}(n){\mathbf{u}}^H(n)],$$其中$\mathbf{u}(n)=[u(n),u(n-1),\dots ,u(n-M+1){]}^T$为一个$M\times 1$向量。$$\mathbf{R}=\left[\begin{array}{cccc}r(0)& r(1)& \dots & r(M-1)\\ r(-1)& r(0)& \dots & r(M-2)\\ ⋮& ⋮& \ddots & ⋮\\ r(-M+1)& r(-M+2)& \dots & r(0)\end{array}\right]$$
相关矩阵的性质

• 平稳过程的相关矩阵$\mathbf{R}$是厄尔米特矩阵(Hermitian)。此因$r(k)=r^{\ast }(-k)$。
• 平稳过程的相关矩阵$\mathbf{R}$是托普利兹矩阵(Toeplitz)。
• 平稳过程的相关矩阵$\mathbf{R}$总是半正定的，且几乎总是正定的。关于这个性质书中有这样一段话，我还没有理解得特别好，主要是没有看到具体的证明。

The condition that $\mathbf{R}$ is positive definite is satisfied for a wide-sense stationary porcess, unless ther are linear dependencies between the random variavles that constitute the $M$ elements of the observation vector $\mathbf{u}(n)$. Such a situation arises essentially only when the $u(n)$ consists of the sum of $K$ sinusoids with $K\le M$.

• 因不可避免的噪音存在，平稳过程的相关矩阵$\mathbf{R}$总是可逆的。这个性质可以和前面那条性质一起理解。
• 当观测向量从后向前重新排列，即${\mathbf{u}}^B(n)=[u(n-M+1),u(n-M+2),\dots ,u(n){]}^T$，所得的相关矩阵是重新排列前的相关矩阵的转置，即$\mathbb{E}[{\mathbf{u}}^B(n){\mathbf{u}}^{BT}(n)]={\mathbf{R}}^T$。
• ${\mathbf{R}}_{M+1}=\left[\begin{array}{cc}r(0)& {\mathbf{r}}^H\\ \mathbf{r}& {\mathbf{R}}_M\end{array}\right]=\left[\begin{array}{cc}{\mathbf{R}}_M& {\mathbf{r}}^{B\ast }\\ {\mathbf{r}}^{BT}& r(0)\end{array}\right]$，其中$\mathbf{r}=[r(-1),r(-2),\dots ,r(-M){]}^T$。

功率谱密度(power spectral density) 见Adaptive Filter Learning Notes 自适应滤波学习笔记04 功率谱密度

多谱(polyspectra)
设$u(n)$是一个均值为$0$的平稳随机过程，令KaTeX parse error: Can't use function '\u' in math mode at position 40: …+\tau_1),\dots,\̲u̲(n+\tau_{k-1})]…，$\mathbf{z}=[z_1,z_2,\dots ,z_k{]}^T$。**累积量生成函数(cumulant-generating function)**为KaTeX parse error: Undefined control sequence: \ext at position 33: …=\ln\mathbb{E}[\̲e̲x̲t̲(\boldsymbol{z}…
【多谱，累积量，谱相关密度完全没搞懂，等再看一看再补这一部分的笔记。】
未完待续。。。

复值高斯过程

设$u(n)$是一个含有$N$个样本的复值高斯过程。

• $\mu =\mathbb{E}[n(n)]=0,\text{ for}1,2,\dots ,N.$
• $r(k)=\mathbb{E}[u(n)u\ast (n-k)],k=0,1,\dots .N-1.$
  $\{r(k),k=0.1.\dots .N-1\}$用来定义相关矩阵$\mathbf{R}$。$\mathcal{N}(0,\mathbf{R})$用来表示均值为$0$，相关矩阵为$\mathbf{R}$的高斯过程。这$N$个样本的联合概率密度函数为$$f_U(\mathbf{u})=\frac{1}{(2\pi {)}^N\det \mathbf{\Lambda }}\exp \left(-\frac{1}{2}{\mathbf{u}}^H{\mathbf{\Lambda }}^{-1}\mathbf{u}\right),$$ $\mathbf{u}=[u(1),u(2),\dots ,u(N){]}^T.$，$\mathbf{\Lambda }=\frac{1}{2}\mathbf{R}$。
  【注意这里的$\mathbf{u}$是$2N$维的！！】
  对于这个过程中的一个样本来说$$f_U(u)=\frac{1}{\pi {\sigma }^2}\exp (-\frac{|u{|}^2}{{\sigma }^2}).$$【这里联动一下另一篇笔记随机过程学习笔记01 随机过程+高斯随机
  ，另一篇笔记里的高斯过程是实值的，注意区别。】

性质

一个广义平稳的均值为$0$的复值高斯过程$u(n)$有以下性质：

1. $u(n)$是强平稳的。
2. $u(n)$是循环复数(circularly complex)，$\mathbb{E}[u(n)u(k)]=0,n\ne k$。【注意与$r(k-n)$区别，$r$有共轭。】所以$u(n)$也被称为循环复值高斯过程(circularly complex Gaussian process)。【？这个怎么证明？】
3. $u_n=u(n),n=1,2,\dots ,N$，根据Reed(1962)，
   • 若$k\ne l$，则$$\mathbb{E}[u_{s_1}^{\ast }{u}_{s_2}^{\ast }\dots u_{s_k}^{\ast }{u}_{t_1}{u}_{t_2}\dots u_{t_l}]=0,$$
     -若$k=l$,则$$\mathbb{E}[u_{s_1}^{\ast }{u}_{s_2}^{\ast }\dots u_{s_k}^{\ast }{u}_{t_1}{u}_{t_2}\dots u_{t_l}]=\pi \mathbb{E}[u_{s_{\pi (1)}}^{\ast }{u}_{t_1}]\mathbb{E}[u_{s_{\pi (2)}}^{\ast }{u}_{t_2}]\dots \mathbb{E}[u_{s_{\pi (l)}}^{\ast }{u}_{t_l}]$$ $\pi$表示$\{1,2,\dots ,l\}$的全排列，$\pi (j)$表示该排列中第$j$个元素的值。该等式也被称作高斯矩分解定理(Gaussian moment-factoring theorem)。

欢迎指正错误，相互交流。

Adaptive Filter Learning Notes 自适应滤波学习笔记02 随机过程模型
Adaptive Filter Learning Notes 自适应滤波学习笔记03 自回归模型