随机过程总结(5)--Markov过程与高斯过程

本文简单总结下Markov过程与高斯过程

Markov过程

基本定义

• markov性：下一状态只与当前状态有关。
• 一步转移概率: $p_{ij}(n)=P(X(n+1)=j\mid X(n)=i),P(n)$ ，注意 $p_{ij}(n)\ge 0$ 且对求和是 1 。
• 齐次马氏链: $p_{ij}(n)=p_{ij},P(n)=P$
• 初始分布: ${\pi }_i(0)=P\left(X_0=i\right)$ ，知道 ${\pi }_i(0)$ 和 $P(n)$ 就可以知道这条马链的所有性质了，包, 括任意维的联合分布。

齐次马氏链

齐次马氏链，指的是其一步转移概率矩阵与启始时间无关。

"齐次"指的意思是参数不时变/。对于泊松过程，指的是其"跳跃强度"不变；对Markov链，意思是其一次转移概率矩阵不时变

• C-K方程: $p_{ij}^{m+n}={\Sigma }_{k\in S}{p}_{ik}^m{p}_{kj}^n$ ， 也即 $P^{m+n}=P^m{P}^n$
• 到达和相通: 状态性质相同，具有传递性。
• 首达时间: $T_{ij}$
• 首达概率: $f_{ij}^{(n)}=P\left(T_{ij}=n\mid X_0=i\right)$ ，即经过n步第一次从到达的概率。记 $f_{ij}=$ ${\Sigma }_{n=1}^{\infty }{f}_{ij}^{(n)}=P\left(T_{ij}<\infty \right)$ ，表示从出发经过有限步迟早可以到达的概率。
• $0\le f_{ij}^{(n)}\le p_{ij}^{(n)}\le f_{ij}\le 1$
• $p_{ij}^{(n)}={\sum }_{l=1}^n{f}_{ij}^{(l)}{p}_{jj}^{(n-l)}$
• 平均转移时间: ${\mu }_{ij}=E\left(T_{ij}\mid X_0=i\right)={\Sigma }_{n=1}^{\infty }n{f}_{ij}^{(n)}$
• 状态分类： $S=D\cup C_1\cup C_2\cdots$ (唯一分解)
• 常返态C: $f_{ii}=1$ ，访问次数无限，所有常返态构成一个闭集。
• 正常返态: ${\mu }_{ii}<\infty$ 。有限状态的马誰中常返就一定正常返。
• 遍历态: 无周期。(周期性是对于正常返态来说的)
• 零常返态: ${\mu }_{ii}=\infty$ 。零常返状态只会出现在状态无限的马信连中，有限状态的马氏链 中不可能所有状态都是非常返的，也不可能出现零常返状态。
• 非常返态 $D:f_{ii}<1$ ，在过程中访问次数是有限的，也就是极限时访问概率时 0 。
• 齐次马伯链不可约 $⟺$ 任意两个状态均互通，所有状态性质相同。
• 不可约+非周期+有限状态的马化链是遍历链。

高斯过程

正态分布

• n维正态分布 $X\sim N(\mu ,\Sigma )$
  $f(x)=\frac{1}{(2\pi {)}^{n/2}(\det \Sigma {)}^{1/2}}{e}^{-\frac{1}{2}(x-\mu {)}^I{\Sigma }^{-1}(x-\mu )}$
• 对正态来说: 独立 $⟺$ 不相关。所以可以从协方差矩阵来判断正态分布的随机变量是不是独立。
• 正态随机变量线性变换后依旧是正态。
  $Y=CX⟹Y\sim N\left(C\mu ,C\Sigma C^T\right)$
• $n$ 维正态 $⟹$ 每个分量都是正态的
• 每个分量都是正态的且相互独立 $⟹n$ 维正态
• 对于联合高斯分布，这个计算四阶矩的公式非常有用:
  $$E\left(X_1{X}_2{X}_3{X}_4\right)=E\left(X_1{X}_2\right)E\left(X_3{X}_4\right)+E\left(X_1{X}_3\right)E\left(X_2{X}_4\right)+E\left(X_1{X}_4\right)E\left(X_2{X}_3\right)-2E\left(X_1\right)E\left(X_2\right)E\left(X_3\right)E\left(X_4\right)$$
• 有时二维联合正态分布还会这样表示: $N\left({\mu }_1,{\mu }_2,\rho ,{\sigma }_1^2,{\sigma }_2^2\right)$

$$\text{ 也就是 }\mu =\left(\begin{array}{l}{\mu }_1\\ {\mu }_2\end{array}\right),\Sigma =\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)$$

高斯过程

• 定义: 随机过程 $\xi (t)$ 的任意有限维分布都是正态分布。
• 正态过程是二阶矩过程。
• 对于正态过程来说，宽平稳和严平稳是等价的。
• 如果正态过程是均方可导的，那它的导数过程也是正态过程。
• 如果正态过程是均方可积的，那它的积分过程也是正态过程。
• 均值为零的实正态过程具有马氏性 $⟺$ 对于任意三个时刻 $0\le t_1<t_2<t_3$ 有， $\rho \left(t_1,t_3\right)=\rho \left(t_1,t_2\right)\rho \left(t_2,t_3\right)$
  其中 $\rho (s,t)=\frac{R(s,t)}{\sqrt{R(s,s)R(t,t)}}$ ，也就是 $\mathrm{s}$ 和时刻的相关系数。

参考

• Markov过程
• 高斯过程