马尔可夫过程与泊松过程

随机过程 之 马尔可夫Markov Process与泊松过程Poisson process

概念

随机过程可以看成一些随机变量的集合，如下图，可把 T 看成时间，随着时间点t的演变随机过程也在演变，而且给定不同的起点会出现不同的演变情况，在某个具体的时间点 t₀ ，演变轨迹在对应点的观察样本是随机的。那么，给定时间点 t，X(t) 就表示在这个时间点切面可能的随机变量，所以说随机变量可以看成随机变量的集合，这些随机变量本身也是集合，比如时间序列。

描述随机过程，需要观察其统计规律，对随机变量而言，可以用概率密度f(x)、分布律或者分布函数F(x)来描述，进而可以讨论其期望方差等。以此内推，描述随机过程需要看看其分布如何，实际上最常用的方法是有限维分布(每个X(t)是有限的），然后用其联合分布函数来描述的。

如果要计算一个随机过程的分布，需要几个步骤：

1. 确定时间点 t₀ , t₁ , t₂ , …
2. 找到相应的随机变量 X(0) , X(1) , X(2) ， …
3. 求其分布函数 F(X₁ … X_n)

独立增量

在某个随机过程演变上，确定两个是时间点区间t₁， t₂，X(t₂) - X(t₁)可以看成一个增量，整个随机过程可以有若干这样的时间点和若干区间，这样的增量差组成的随机变量叫做增量过程，如果这样的增量差是独立分布的，比如 X(t₂) - X(t₁) 和 X(t₃) - X(t₂)他们的联合分布等于两个边缘分布的乘积，那么就称这些增量为独立增量。

Markov Process

X_t+1的分布(状态)仅依赖于X_t，这种性质称为马氏性，这个随机过程具有马氏性。
如果状态空间无穷，那么这个也叫无限马氏过程。状态之间的转换或者说迁移的这个概率成为转移/迁移概率，描述的是某一个状态迁移到另一个状态的概率。

k步转移概率：系统当前状态再经过k次转移后回到当前状态的概率，如上图黄框下面概率公式。把n种可能的状态用完全图来表示更容易理解，下一步必定转移，那么所有转移的可能之和就为1了。
如果这个转移概率和起始时间 t 无关，而仅与跳转步数k有关，那么这个马氏随机过程也叫齐次马尔可夫过程。

描述一个随机过程是否是马氏过程：

1. 确定马氏性
2. 确定状态空间
3. 确定状态转移概率矩阵

一般用p₀来表示系统处于某个初始状态的概率，当系统经过转移后达到一定的稳定状态，用π(x_i)来表示处于某个状态的极限/平稳概率。
那么，如何使马氏转移链到达π(x_i)这个状态呢？ 或者如何根据π(x_i)来生成马氏链呢？最常用的方法是马尔可夫-蒙特卡洛法。

转移概率的计算问题：查普曼-科莫高洛夫方程Chapman–Kolmogorov equation
即由状态s_i经过 u+v 步转移到s<sub>j的概率计算。

极限概率问题：马尔可夫收敛定理/马氏链定理</sub>

马氏链

Poisson process

泊松过程又称为点过程或者计数过程，一般用 N(t) 来表示，N(t) 含义是 [0,t] 某件事发生的次数，那么 N(0) =0 。
泊松过程是一个独立增量过程，平稳增量性是指事件发生的次数只与时间长度有关而与时刻无关。




证明：

泊松过程的仿真问题：

仿真实验：

• 齐次泊松过程仿真
  
  
• 非其次泊松过程仿真（详见参考）

import numpy as np
import matplotlib.pyplot as plt

def Lambda_t(t):
	return 1.0/(t+2)

lambd=2
T=10
list_I=[]
list_S=[]

for i in range(3): # 模拟三次非齐次随机过程
	t,I=0,0
	tem_I=[]
	tem_S=[]
	while True:
		u=np.random.rand()
		t=t -1 /lambd*np.log(u)
		if t>T:
			list_I.append(tem_I)
			list_S.append(tem_S)
			break
		u = np.random.rand()
		if u<= Lambda_t(t)/lambd:
			I=I+1
			tem_S.append(t)
			tem_I.append(I)
		else:t=t+1 /lambd*np.log(u)

lable_list=['sample 1','sample 2','sameple 3']
for i in range(3):
	plt.plot(list_S[i],list_I[i],label=lable_list[i])

plt.legend(loc='best')
plt.xlabel('T')
plt.ylabel('counting  N(t)')
plt.title('Nonhomogeneous Poisson Process')
plt.show()

Wiener Process

---

• 参考视频
• 非齐次泊松过程及其模拟
• The Exponential Distribution and the Poisson Process