随机过程总结(5)--Markov过程与高斯过程

本文简单总结下Markov过程与高斯过程

Markov过程

基本定义

  • markov性:下一状态只与当前状态有关。
  • 一步转移概率: p i j ( n ) = P ( X ( n + 1 ) = j ∣ X ( n ) = i ) , P ( n ) p_{i j}(n)=P(X(n+1)=j \mid X(n)=i), P(n) pij(n)=P(X(n+1)=jX(n)=i),P(n) ,注意 p i j ( n ) ≥ 0 p_{i j}(n) \geq 0 pij(n)0 且对求和是 1 。
  • 齐次马氏链: p i j ( n ) = p i j , P ( n ) = P p_{i j}(n)=p_{i j}, P(n)=P pij(n)=pij,P(n)=P
  • 初始分布: π i ( 0 ) = P ( X 0 = i ) \pi_{i}(0)=P\left(X_{0}=i\right) πi(0)=P(X0=i) ,知道 π i ( 0 ) \pi_{i}(0) πi(0) P ( n ) P(n) P(n) 就可以知道这条马链的所有性质了,包, 括任意维的联合分布。

齐次马氏链

齐次马氏链,指的是其一步转移概率矩阵与启始时间无关。

"齐次"指的意思是参数不时变/。对于泊松过程,指的是其"跳跃强度"不变;对Markov链,意思是其一次转移概率矩阵不时变

  • C-K方程: p i j m + n = Σ k ∈ S p i k m p k j n p_{i j}^{m+n}=\Sigma_{k \in S} p_{i k}^{m} p_{k j}^{n} pijm+n=ΣkSpikmpkjn , 也即 P m + n = P m P n P^{m+n}=P^{m} P^{n} Pm+n=PmPn
  • 到达和相通: 状态性质相同,具有传递性。
  • 首达时间: T i j T_{i j} Tij
  • 首达概率: f i j ( n ) = P ( T i j = n ∣ X 0 = i ) f_{i j}^{(n)}=P\left(T_{i j}=n \mid X_{0}=i\right) fij(n)=P(Tij=nX0=i) ,即经过n步第一次从到达的概率。记 f i j = f_{i j}= fij= Σ n = 1 ∞ f i j ( n ) = P ( T i j < ∞ ) \Sigma_{n=1}^{\infty} f_{i j}^{(n)}=P\left(T_{i j}<\infty\right) Σn=1fij(n)=P(Tij<) ,表示从出发经过有限步迟早可以到达的概率。
  • 0 ≤ f i j ( n ) ≤ p i j ( n ) ≤ f i j ≤ 1 0 \leq f_{i j}^{(n)} \leq p_{i j}^{(n)} \leq f_{i j} \leq 1 0fij(n)pij(n)fij1
  • p i j ( n ) = ∑ l = 1 n f i j ( l ) p j j ( n − l ) p_{i j}^{(n)}=\sum_{l=1}^{n} f_{i j}^{(l)} p_{j j}^{(n-l)} pij(n)=l=1nfij(l)pjj(nl)
  • 平均转移时间: μ i j = E ( T i j ∣ X 0 = i ) = Σ n = 1 ∞ n f i j ( n ) \mu_{i j}=E\left(T_{i j} \mid X_{0}=i\right)=\Sigma_{n=1}^{\infty} n f_{i j}^{(n)} μij=E(TijX0=i)=Σn=1nfij(n)
  • 状态分类: S = D ∪ C 1 ∪ C 2 ⋯ S=D \cup C_{1} \cup C_{2} \cdots S=DC1C2 (唯一分解)
  • 常返态C: f i i = 1 f_{i i}=1 fii=1 ,访问次数无限,所有常返态构成一个闭集。
  • 正常返态: μ i i < ∞ \mu_{i i}<\infty μii< 。有限状态的马誰中常返就一定正常返。
  • 遍历态: 无周期。(周期性是对于正常返态来说的)
  • 零常返态: μ i i = ∞ \mu_{i i}=\infty μii= 。零常返状态只会出现在状态无限的马信连中,有限状态的马氏链 中不可能所有状态都是非常返的,也不可能出现零常返状态。
  • 非常返态 D : f i i < 1 D: f_{i i}<1 D:fii<1 ,在过程中访问次数是有限的,也就是极限时访问概率时 0 。
  • 齐次马伯链不可约 ⟺ \Longleftrightarrow 任意两个状态均互通,所有状态性质相同。
  • 不可约+非周期+有限状态的马化链是遍历链。

高斯过程

正态分布

  • n维正态分布 X ⃗ ∼ N ( μ ⃗ , Σ ) \vec{X} \sim N(\vec{\mu}, \Sigma) X N(μ ,Σ)
    f ( x ⃗ ) = 1 ( 2 π ) n / 2 ( det ⁡ Σ ) 1 / 2 e − 1 2 ( x ⃗ − μ ⃗ ) I Σ − 1 ( x ⃗ − μ ⃗ ) f(\vec{x})=\frac{1}{(2 \pi)^{n / 2}(\operatorname{det} \Sigma)^{1 / 2}} e^{-\frac{1}{2}(\vec{x}-\vec{\mu})^{I} \Sigma^{-1}(\vec{x}-\vec{\mu})} f(x )=(2π)n/2(detΣ)1/21e21(x μ )IΣ1(x μ )
  • 对正态来说: 独立 ⟺ \Longleftrightarrow 不相关。所以可以从协方差矩阵来判断正态分布的随机变量是不是独立。
  • 正态随机变量线性变换后依旧是正态。
    Y ⃗ = C X ⃗ ⟹ Y ∼ N ( C μ ⃗ , C Σ C T ) \vec{Y}=C \vec{X} \Longrightarrow Y \sim N\left(C \vec{\mu}, C \Sigma C^{T}\right) Y =CX YN(Cμ ,CΣCT)
  • n n n 维正态 ⟹ \Longrightarrow 每个分量都是正态的
  • 每个分量都是正态的且相互独立 ⟹ n \Longrightarrow n n 维正态
  • 对于联合高斯分布,这个计算四阶矩的公式非常有用:
    E ( X 1 X 2 X 3 X 4 ) = E ( X 1 X 2 ) E ( X 3 X 4 ) + E ( X 1 X 3 ) E ( X 2 X 4 ) + E ( X 1 X 4 ) E ( X 2 X 3 ) − 2 E ( X 1 ) E ( X 2 ) E ( X 3 ) E ( X 4 ) E\left(X_{1} X_{2} X_{3} X_{4}\right)=E\left(X_{1} X_{2}\right) E\left(X_{3} X_{4}\right)+E\left(X_{1} X_{3}\right) E\left(X_{2} X_{4}\right)+E\left(X_{1} X_{4}\right) E\left(X_{2} X_{3}\right)-2 E\left(X_{1}\right) E\left(X_{2}\right) E\left(X_{3}\right) E\left(X_{4}\right) E(X1X2X3X4)=E(X1X2)E(X3X4)+E(X1X3)E(X2X4)+E(X1X4)E(X2X3)2E(X1)E(X2)E(X3)E(X4)
  • 有时二维联合正态分布还会这样表示: N ( μ 1 , μ 2 , ρ , σ 1 2 , σ 2 2 ) N\left(\mu_{1}, \mu_{2}, \rho, \sigma_{1}^{2}, \sigma_{2}^{2}\right) N(μ1,μ2,ρ,σ12,σ22)

 也就是  μ ⃗ = ( μ 1 μ 2 ) , Σ = ( σ 1 2 ρ σ 1 σ 2 ρ σ 1 σ 2 σ 2 2 ) \text { 也就是 } \vec{\mu}=\left(\begin{array}{l} \mu_{1} \\ \mu_{2} \end{array}\right), \Sigma=\left(\begin{array}{cc} \sigma_{1}^{2} & \rho \sigma_{1} \sigma_{2} \\ \rho \sigma_{1} \sigma_{2} & \sigma_{2}^{2} \end{array}\right)  也就是 μ =(μ1μ2),Σ=(σ12ρσ1σ2ρσ1σ2σ22)

高斯过程

  • 定义: 随机过程 ξ ( t ) \xi(t) ξ(t) 的任意有限维分布都是正态分布。
  • 正态过程是二阶矩过程。
  • 对于正态过程来说,宽平稳和严平稳是等价的。
  • 如果正态过程是均方可导的,那它的导数过程也是正态过程。
  • 如果正态过程是均方可积的,那它的积分过程也是正态过程。
  • 均值为零的实正态过程具有马氏性 ⟺ \Longleftrightarrow 对于任意三个时刻 0 ≤ t 1 < t 2 < t 3 0 \leq t_{1}0t1<t2<t3 有, ρ ( t 1 , t 3 ) = ρ ( t 1 , t 2 ) ρ ( t 2 , t 3 ) \rho\left(t_{1}, t_{3}\right)=\rho\left(t_{1}, t_{2}\right) \rho\left(t_{2}, t_{3}\right) ρ(t1,t3)=ρ(t1,t2)ρ(t2,t3)
    其中 ρ ( s , t ) = R ( s , t ) R ( s , s ) R ( t , t ) \rho(s, t)=\frac{R(s, t)}{\sqrt{R(s, s) R(t, t)}} ρ(s,t)=R(s,s)R(t,t) R(s,t) ,也就是 s \mathrm{s} s 和时刻的相关系数。

参考

  • Markov过程
  • 高斯过程

你可能感兴趣的:(机器学习,其他,概率论)