随机过程笔记：1.相关函数

b站张颢老师随机过程笔记，本文主要是第一二节的内容。
建议先修课程：概率论，矩阵论或线性代数，高等数学。
由于张颢老师似乎是教电子的，里面的很多举例和信号相关，可以根据自己的实际来看，或者看看信号与系统。
后续我会发布笔记的pdf和markdown，需要的同学可以下载。
总结版传送门(推导较少)

随机过程（Stochastic Process）

一组随机变量，着眼于随机变量之间的关联，t只是一个index不一定是时间，t是两维就是随机场

• Correlation(linear)：相关

  • 时域 Time Domain：相关函数 correlation function

  • 频域 Frequency Domain：功率谱密度 Spectrum

  • 典型的相关过程：高斯过程 Gaussian Process

• Markov Property

  • 离散时间

  • 连续时间

  • 典型的马尔可夫过程：泊松过程 Poisson Process

• Martingale

  • Optional Theorem

1.相关函数

线性相关

对于多个随机变量的关系研究，最开始是联合概率密度。对于随机变量 x,y。联合分布Joint Distribution

$f_{x,y}(x,y)=\frac{{\partial }^2}{\partial x\partial y}{F}_{x,y}(x,y)$

$F_{x,y}(x,y)=P(X\le x,Y\le y)$

从图像看相关性：看一个变量发生变化时，另外一个变量的分布或者概率是否发生变化

相关系数：对于线性相关，相关系数越大，相关性越高，对于二维变量，其图像表现得越细窄

我们试图建立两个随机变量的线性关系 $Y=\alpha X$，但是这样忽略了变量的变化是有范围的，不是单纯的线性关系，可以将其扩展为$E(Y-\alpha X{)}^2$，即均方误差（mean square error）。对于$\alpha$，由于希望找到$\underset{\alpha }{\min }E(Y-\alpha X{)}^2$，则${\alpha }_{opt}=\frac{E(XY)}{E(X^2)}$。上面的部分更关键。

相关、不相关和独立

• 相关$E(XY)$

• 去中心化的相关$E(X-EX)E(Y-EY)=E(XY)-E(XEY)-E(YEX)-EXEY=E(XY)-EXEY$，减去了一个常数，两者不再区分。

• 不相关 Uncorrelated：$E(XY)=0$ 或者 $E(X-EX)E(Y-EY)=0$，即$E(XY)=EXEY$。是线性的关系不存在，可能存在其他关系

• 独立：更强

相关系数

一个重要的理解：几何上的理解 Geometric View，看作是一种内积 $E(XY)=<X,Y>$

内积满足：对称性，非负性，双线性性（双变量各自满足线性性）

内积量化成角度：$cos<x,y>=\frac{<x,y>}{(<x,x><u,y>{)}^{\frac{1}{2}}}$

随机变量的相关对应到线性空间里两个矢量的夹角：Randow Variable to Vector

几何角度

量化

相关

内积

夹角

由此，将线性空间内的夹角扩展到随机变量的相关系数有$cos=\frac{E(XY)}{(E{X}^{2}E{Y}^2{)}^{\frac{1}{2}}}$

这里的$E{X}^2$是$E(X^2)$

根据Cauchy-Schwars不等式，保证$-1\le cos\le 1$

Cauchy-Schwars的不同形式：

1. $|\sum _k{x}_x{y}_k|\le (\sum _k{x}_k^2{)}^{\frac{1}{2}}(\sum _k{y}_k^2{)}^{\frac{1}{2}}$
2. $\int f(x)g(x)dx\le (\int f^2(x)dx\int g^2(x)dx{)}^{\frac{1}{2}}$
3. 一般形式：$|<x,y>|\le |<x,x><y,y>{|}^{\frac{1}{2}}$
   都是内积。反映测不准原理。

有了几何上的理解，对于两个随机变量X，Y，在线性空间有夹角$\theta$，计算Y在X上的投影，则有$||Y||cos(\theta )\frac{X}{||X||}=(\frac{||Y||}{||X||}cos(\theta ))X$，由于$\frac{||Y||}{||X||}\frac{E(XY)}{||X||||Y||}=\frac{E(XY)}{E{X}^2}=\alpha$，所以Y在X上的投影为$\alpha X$，和上面的$\alpha$一致（上面没有写代数上的推导）

相关函数

相关函数 Correlation Funtion，定义在随机过程上

• Auto自相关：$R_X(t,s)=E(X(t)X(s))$，Binary二元的。性质
  • 对称性：$R_X(t,s)=R_X(s,t)$
  • 非负性：$R_X(t,t)=E(X^2(t))\ge 0$，对角线上是非负的
  • 满足Cauchy-Schwars不等式：$|R_X(t,s)|\le (R_X(t,t)R_X(s,s){)}^{\frac{1}{2}}$

  特点来自于相关运算，即内积

  由于这样的相关还是二元的，希望把它转化成一元的，因此，我们需要做一个假设，即平稳性。

  证明过程：

  $g(\alpha )=<\alpha x+y,\alpha x+y>=<x,x>{\alpha }^2+2<x,y>\alpha +<y,y>$

• Invariance to Stationary（平稳性）：平稳性是一种不变特征，指随机过程的某一类统计特性随着时间变化而保持不变的特性
  • 宽平稳
    1. 均值不变，是常数：$E[X(t)]=m(t)=m$
    2. 相关函数满足$R_X(t,s)=R_X(t+D,s+D),\forall D\in \mathbb{R}$，这时相关函数只与两个时刻的差值有关，即$R_X(t,s)=R_X(t-s)=R_X(\tau )$，而和时刻的具体位置无关。相关函数变成了一元的了。

    搞清楚什么是确定的，什么是随机的
    因此更加关注上面的第二条。

    3. 此时相关函数的性质：

    • 对称性：$R_X(\tau )=R_X(-\tau )$。即宽平稳情况下相关函数是偶函数

    • 柯西不等式：$|R_X(\tau )|\le R_X(0)$

    • Positive Definite正定性：

      矩阵正定：$A\in {\mathbb{R}}^{n\times n},\alpha \in {\mathbb{R}}^n,{\alpha }^{T}A\alpha \ge 0$

      函数正定：函数$f(x)$正定，即任取n个变量$x_1,x_2,...,x_n$，构成矩阵的$A=(a_{ij}{)}_{n\times n},a_{ij}=f(x_i-x_j)$正定

      • 若正定，则$R_X(0)\ge 0$。取1个变量，则$A=|R_X(x_1-x_1)|$，一个元素，$R_X(x_1-x_1)=R_X(0)\ge 0$
      • 若正定，则一定满足柯西不等式$|R_X(\tau )|\le R_X(0)$。取两个变量$x_1=0,x_2=\tau$，则有矩阵
        $$A=\left(\begin{array}{cc}{R}_X(x_1-x_1)& R_X(x_1-x_2)\\ R_X(x_2-x_1)& R_X(x_2-x_2)\end{array}\right)=\left(\begin{array}{cc}{R}_X(0)& R_X(-\tau )\\ R_X(\tau )& R_X(0)\end{array}\right)\ge 0$$

      ​ 因为，正定矩阵对称，所以$R_X(\tau )=R_X(-\tau )$。柯西不等式也因行列式为正可得。

      • 验证正定：任取n个时刻，有${\tau }_1,{\tau }_2,...,{\tau }_n$，构成矩阵$A=(f(x_i-x_j){)}_{ij}\ge 0$。任取$\alpha \in {\mathbb{R}}^n,\alpha =({\alpha }_1,...,{\alpha }_n{)}^T$。计算
        $$\begin{array}{rl}{\alpha }^{T}A\alpha & =\sum _{i=1}^n\sum _{j=1}^n{R}_X({\tau }_i-{\tau }_j){\alpha }_i{\alpha }_j\\ & =\sum _{i=1}^n\sum _{j=1}^{n}E[X({\tau }_i)X({\tau }_j)]{\alpha }_i{\alpha }_j\\ & =E[\sum _{i=1}^n\sum _{j=1}^{n}X({\tau }_i)X({\tau }_j){\alpha }_i{\alpha }_j](因为此处\alpha 没有随机性)\\ & =E[\sum _{i=1}^{n}X({\tau }_i){\alpha }_i{]}^2\ge 0(最后一步化简可能比较难理解，注意这里不是E[\sum _{i=1}^n(X({\tau }_i){\alpha }_i{)}^2]\end{array}$$

        相关矩阵Correlation Matrix。下面是正定证明的另一种写法。

        $X=(X({\tau }_1),...,X({\tau }_n){)}^T,(R_X({\tau }_i-{\tau }_j){)}_{ij}=E(X{X}^T)=R$

        ${\alpha }^{T}R\alpha ={\alpha }^{T}E(X{X}^T)\alpha =E({\alpha }^{T}X{X}^T\alpha )=E({\alpha }^{T}X{)}^2$

      • 相关函数是正定函数，这是其特征性质Characteristic Property，即充分必要。正定函数一定是相关函数，任何一个正定函数一定能找到某个随机过程，使得该正定函数是其相关函数。

    4. 如果有$R(0)=R(\tau ),\tau \ne 0$，则一定能推断出$R(\tau )=R(\tau +T)$，即相关函数一定是周期的。

    验证：

    均方周期性mean square Periodic
    $$\begin{array}{rl}E|X(\tau +T)-X(\tau ){|}^2& =E[X^2(\tau +T)]+E[X^2(\tau )]-2E[X(\tau +T)X(\tau )]\\ & =2R_X(0)-2R_X(T)=0\\ |R(\tau +T)-R(\tau )|& =|E[X(\tau +T)X(0)]-E[X(\tau )X(0)]|\\ & =|E[X(0)(X(\tau +T)-X(\tau ))]|\\ & \le (E[X^2(0)]E|X(\tau +T)-X(\tau ){|}^2{)}^{\frac{1}{2}}=0\end{array}$$

    5. 是否存在Rectangle Window（矩形窗）一样的相关函数？不存在。
       1. 相关函数的一个特性：相关函数在0点连续，则在任意点连续（局部—>总体，来源于平稳的特点）
       2. 不是正定的，因为傅里叶函数不是正的，不是相关函数
    6. 三角波是否是相关函数？是。
       时域卷积为频域乘积。则傅里叶变换为正，故正定，是相关函数

    证明1：

    两个随机变量之间的距离，是均方距离mean square distance ，进而推广到随机极限（满足范数的定义：非负性、对称性、三角不等式（通过柯西不等式可推导））

    均方连续性mean square continuous
    $$\begin{array}{rl}& E|X(\tau +\Delta )-X(\tau ){|}^2=2R_X(0)-2R_X(\Delta )\\ & 因为在0点连续，因此\underset{\Delta \to 0}{\lim }E|X(\tau +\Delta )-X(\tau ){|}^2=0\\ & |R(\tau +\Delta )-R(\tau )|\le (E[X^2(0)]E|X(\tau +\Delta )-X(\tau ){|}^2{)}^{\frac{1}{2}}=0\\ & 因此\underset{\Delta \to 0}{\lim }|R(\tau +\Delta )-R(\tau )|=0\end{array}$$
    证明2：

    Bochner指出：一个函数是正定的，当且仅当该函数的傅里叶变换是正的。（这里提供了频域研究的思路，而宽平稳是可以做频域分析的）
    $$f(x)isP.d\iff {\int }_{-\infty }^{+\infty }f(x)e^{-j\omega x}dx\ge 0$$
    矩形窗的傅里叶变换是Sa函数，不满足条件。

    下面验证Bochner提出的那句话：

    已知$F(\omega )={\int }_{-\infty }^{+\infty }f(x)e^{-j\omega x}dx\ge 0$。证明：$f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }F(\omega )e^{j\omega x}d\omega$正定。

    先看$g(x)=e^{j\omega x}$：即$\forall x_1,x_2,...,x_n.(e^{j\omega (x_i-x_j)}{)}_{ij}=B,\forall \alpha \in C^n\Rightarrow {\alpha }^{H}B\alpha \ge 0$
    $$\begin{array}{rl}{\alpha }^{H}B\alpha & =\sum _{i=1}^n\sum _{j=1}^n{e}^{j\omega (x_i-x_j)}\overline{{\alpha }_i}{\alpha }_j\\ & =|\sum _{i=1}^n{e}^{j\omega (x_i)}\overline{{\alpha }_i}{|}^2\ge 0\end{array}$$
    $h(\omega ,x)isP.d\Rightarrow {\sum }_{k=1}^n{a}_{k}h({\omega }_k,x)isP.d,a_k\ge 0\Rightarrow {\int }_{-\infty }^{+\infty }a(\omega )h(\omega ,x)d\omega$

    随机变量：样本空间映射到实数轴的确定性函数。

    概率：样本空间包含了所有的可能性，然后P(A)=p，这是一个确定性函数，本身表示的是样本空间某个子集的出现可能性的大小。是先验的。

    概率：从模型(先验)到决策

    统计：从数据得到模型

    统计statistic

    概率Probability

    大数据big data

    数据data

    模型model

    决策decision

例1：Modulated Signal。$X(t)=A(t)cos(2\pi f_{0}t+\theta ),A(t):随机,\theta \sim v(0,a\pi )，A(t)与\theta$ 独立。证明宽平稳：

先看一阶矩：
$$\begin{array}{rl}E[X(t)]& =E[A(t)]E[cos(2\pi f_{0}t+\theta )]\\ & =E[A(t)]{\int }_0^{2\pi }cos(2\pi f_{0}t+\theta )d\theta \\ & =0\end{array}$$
再看相关函数：
$$\begin{array}{rl}{R}_X(t,s)& =E[X(t)X(s)]\\ & =E[A(t)A(s)]E[cos(2\pi f_{0}t+\theta )cos(2\pi f_{0}s+\theta )]\\ & =E[A(t)A(s)]\frac{1}{2}(E[cos(2\pi f_0(t-s))]+E[cos(2\pi f_0(t+s)+2\theta )])\\ & =\frac{1}{2}E[A(t)A(s)]E[cos(2\pi f_0(t-s))]\end{array}$$
可见，如果振幅调制本身是宽平稳的，则整体的信号是宽平稳的。

例2：Random Telegraph Signal。随机取1或-1。已知在[s,t]时间内，切换k次的概率为 $P=\frac{\lambda (t-s{)}^k}{k!}{e}^{-\lambda (t-s)}$。泊松分布Poisson Distribution。证明宽平稳。
计算二阶矩（相关函数）：
$$\begin{array}{rl}E[X(t)X(s)]& =R_X(t,s)\\ & =1\cdot P_1+(-1)\cdot P_{-1}\\ & =\sum _{k\in even}\frac{\lambda (t-s{)}^k}{k!}-\sum _{k\in odd}\frac{\lambda (t-s{)}^k}{k!}\\ & =e^{-2\lambda (t-s)}\end{array}$$
其中，结果只有1和-1两种可能，故需处理两种结果的概率即可。而结果是1说明信号翻转了偶数次，结果是-1说明翻转了奇数次。因为
$$\begin{array}{rl}\sum \frac{\lambda (t-s{)}^k}{k!}& =e^{\lambda (t-s)}\\ \sum \frac{[-\lambda (t-s){]}^k}{k!}& =e^{-\lambda (t-s)}\end{array}$$
则
$$\begin{array}{rl}\sum _{k\in even}\frac{\lambda (t-s{)}^k}{k!}& =\frac{1}{2}[e^{\lambda (t-s)}+e^{-\lambda (t-s)}]\\ & =\frac{1}{2}[1+e^{-2\lambda (t-s)}]\\ \sum _{k\in odd}\frac{\lambda (t-s{)}^k}{k!}& =\frac{1}{2}[e^{\lambda (t-s)}-e^{-\lambda (t-s)}]\\ & =\frac{1}{2}[1-e^{-2\lambda (t-s)}]\end{array}$$

2.从相关到随机过程

相关

相关是对两个随机变量而言的$X,Y$，计算相关$E(XY)$。

• 从代数上讲，内积
• 从几何上讲，夹角。如此有了正交、投影等概念
• 从随机上讲，期望

随机过程

随机过程X(t)，t：Index Set只是一个指标集（Time就是随机过程，Space就是随机场）。用相关函数研究随机过程，$R_X(t,s)=E(X(t)X(s))$，是一个确定性的二元函数。如果随机过程满足平稳性，如宽平稳，则相关函数只依赖于时间差,即$R_X(t,s)=R_X(t-s)$
$X(t)=X(\omega ,t),\Omega \times \mathbb{R}\to \mathbb{R}$

• 映射关系：给定t，得到一个随机变量X（关心随机变量之间的关系）。需要知道的是，随机变量本身也是一个函数
• $X(t,w)$，实际上是一个二元函数，不止依赖于t，还依赖于样本空间里的样本点w，w体现了随机性
• 因此，给定w，得到一个关于时间的函数，不再有不确定性，该函数称为样本轨道Sample Path

样本轨道在不同时刻的取值不是完全独立的，受到一种关系的约束，随机过程在不同时刻得到的不同的随机变量之间有着相互的约束

希望研究，不确定性下确定的东西，随着时间变化下的趋势

• 映射关系：给定t，得到一个随机变量X（关心随机变量之间的关系）。需要知道的是，随机变量本身也是一个函数
• $X(t,w)$，实际上是一个二元函数，不止依赖于t，还依赖于样本空间里的样本点w，w体现了随机性
• 因此，给定w，得到一个关于时间的函数，不再有不确定性，该函数称为样本轨道Sample Path

样本轨道在不同时刻的取值不是完全独立的，受到一种关系的约束，随机过程在不同时刻得到的不同的随机变量之间有着相互的约束

希望研究，不确定性下确定的东西，随着时间变化下的趋势