常见随机过程（一）（备份草稿）

前言 本文以笔者《随机过程及应用》期末复习为契机，为日后科研进行的一次知识储备。力求罗列一个框架清晰、结构严谨、要点突出的大纲，方便日后“即用即查“。此外，本文还力求结合实际应用，帮助深入理解常见的几类随机过程。
对于本文的结构，笔者对每一部分按照基本的数学逻辑进行组织，系统地储备相关知识点。此外，笔者还将平时作业和书上例题进行了类型整理，将其按照问题设置以及解决思路进行归类，便于日后科研中遇到类似问题时能够快速准确地从知识网络中抽取出相关的图景。
有一点需特别强调：本文注重对知识的深刻理解，因此会大量参考各路大神对有助于认识和理解随机过程“细枝末节”的精彩回答，同时本文也还会结合笔者在学习过程中踩过的“坑”来作为特别说明。
由于 知乎长文编辑极卡，因此将内容拆分成两个部分，前四章在本文中详细道来，后面内容请读者参见《常见随机过程》（二）
目录
一. 正态过程（高斯过程）
1.1 判别； 1.2 数字特征；1.3 定理
二. 泊松过程
2.1 齐次泊松过程
2.1.1 判别； 2.1.2 数字特征； 2.1.3 性质； 2.1.4 定理
2.2 非齐次泊松过程
2.2.1 判别； 2.2.2 数字特征
2.3 复合泊松过程
2.3.1 判别； 2.3.2 数字特征
2.4 更新计数过程
2.4.1 判别； 2.4.2 性质； 2.4.3 定理
三. 维纳过程
3.1 判别； 3.2 数字特征； 3.3 性质； 3.4 定理
四. 马尔可夫过程
4.1 离散马尔可夫过程
4.1.1 判别； 4.1.2 数字特征
4.2 齐次马尔可夫过程
4.2.1 判别； 4.2.2 数字特征； 4.2.3 状态分类定理； 4.2.4 状态分解定理 ；
4.2.5 遍历性和平稳性
4.3 连续参数马尔可夫过程
4.3.1 判别； 4.3.2 数字特征； 4.3.3 定理
五. 平稳过程
5.1 判别；5.2 数字特征； 5.3 定理； 5.4 谱密度
六. 附录.
6.1 均方微积分
一. 正态过程（高斯过程）
人们常常将噪声、误差视为正态变量，因为它们受到大量独立的、均匀微小的随机因素的叠加影响，利用中心极限定理可知它们近似服从正态分布（回想《高等统计物理学》5：非平衡态统计物理初步中证明中心极限定理时所构造的 f_Y(y_N-\langle X \rangle) ，它的含义即为此）。
正态过程是有限维正态随机向量概念的推广，有限维正态随机向量的相关知识参考教材P 31-36页。
（1）对于 c_{ij} 的计算， 类比 \begin{aligned} \operatorname{Var}(X_i)&=E[(X_i-E(X_i))^2]=E[X_i2-2X_iE[X_i]+E^{2[X_i]]\&=E[X_i}2]-2E[X_iE[X_i]]+E[E^2[X_i]]\ &=E[X_i^{2]-2E[X_i]E[X_i]+E}2[X_i]\ &=E[X_i^2]-E2[X_i] \end{aligned}
同样可以得到 c_{ij}=E[(X_i- \mu_i)(X_j-\mu_j)]=E[X_i X_j]-E[X_i]E[X_j]。
（2）教材P31的二维协方差矩阵写为 \begin{pmatrix} \sigma_1^2&\rho\sigma_1\sigma_2\ \rho\sigma_1\sigma_2&\sigma_2^2 \end{pmatrix} 是因为 Cov(X_1,X_2)=\sqrt{\sigma_1\sigma_2} ，而皮尔逊相关系数公式有 \rho(X_1,X_2)=\frac{Cov(X_1,X_2)}{\sqrt{Var(X_1)}\sqrt{Var(X_2)}} ，因此代入后能很容易得到上述形式。
对于正态过程，它的任意有限维分布函数族是正态分布函数族。
1.1 判别
（1）定义判别
给定随机过程 {X(t),t \in T} ，若对任意的正整数 n\geq 1 及任意的 t_1,t_2,…,t_n \in T ，随机变量 X_{t_1},X_{t_2},…,X_{t_n} 的联合分布是 n 维正态分布，即 \begin{aligned}f_{t_1,t_2,…,t_n}(x_1,x_2,…,x_n)=\frac{1}{(2 \pi)^{\frac{n}{2}(\det,C)}\frac{1}{2}} \exp{-\frac{1}{2}(X-\mu)^T C^{-1}(X-\mu)}\end{aligned} ，则称{X(t),t \in T} 是正态过程。( 理解：比如研究接收器在连续时间内接受到的信号强度变化情况。因为我们知道肯定是存在误差的，不仅表现在同一实验各时刻的强度不同，还表现在同一时刻但不同实验下强度不同（即我们先用接收器接收，得到一段强度序列，过一会儿再用它接受，得到的可能又是另外一段强度序列了，因为误差不仅不会让一段强度序列中各值相等，而且也不会让不同的强度序列变换情况全一样）。所以我们从全局视角来看，选择一些时刻，不同实验会接收到一段不同的信号强度序列，而每一段不同的信号强度序列在随机过程（即很多次实验里）会有一定的出现频次，将这些选取的时刻及其出现的不同信号强度序列和出现频数进行统计，得到的结果为正态分布，要注意，对于任何选取的时刻 都成立( 实则类比了定理：n维正态分布随机向量的任一子向量也服从正态分布，即多维正态分布的边缘分布还是正态分布)
其中\mu=(m(t_1),m(t_2),…,m(t_n))^T,m(t)=E(X_t),
C=(c_{ij}),c_{ij}=C(t_i,t_j)=Cov(X_{t_i},X_{t_j}),i,j=1,2,…,n 。
注意这里的概率密度公式里将均值和协方差换成了均值函数和协方差函数。
n 维正态分布的特征函数为 \varphi_{t_1,t_2,…,t_n}(u)=\exp{j \mu^T u-\frac{1}{2}u^T C u} 。
其中 u=(u_1,u_2,…,u_n)^T （注意这里 u 和 \mu 的区别，不要混淆了，\mu才是均值函数），因此它也可以作为定义判别中的一个形式。
（2）充要条件判别
直接用定义判别是比较困难的，因此我们常用以下充要条件准则进行判别：{X_t,t \in T} 为正态过程的充要条件是 X( t_1) , X(t_2) ,…,X(t_n) 的任意非零线性组合 \sum_i \lambda_i X_{t_i} 为一维正态分布。（如果已知某过程为正态过程，那么也要能够想到此线性组合的存在，正态过程的可加性证明正是用到了这一点）
例题：第3次作业的第1题、第3题、第11题(1)
第1题：(a)注意 D(A-costB)=D(A)+cos^2tD(B) ; (b) 用到一个结论：若 X \sim N(0,\sigma^2) ，E[X^2]=\sigma2 ，证明见第1次作业的第8题；© 算特征函数时，直接用上面定义中给出的公式，不要再去傅立叶变换求积分了; © 求正态过程的协方差矩阵和求正态分布的协方差矩阵各有各的公式，不要张冠李戴了，且这里求逆矩阵时，主对角线元素交换，其余元素取各自的相反数，似曾相识。
第3题：
第11题(1)：使用维纳过程的性质，也是从线性组合出发。
1.2 数字特征
若 {X(t),t\geq0} 是具有零均值和协方差 C(s,t) 的正态过程, 则对于任意的非负数 s,t 和 \tau ,有如下性质：
（1） E[X^2(t)]=C(t,t)=D(t) ;
（2） D[X^2(t)]=2C2(t,t)=2D^2(t) ;
（3）\operatorname{Cov}(X^2(s),X2(t))=2C^2(s,t) ;
（4） E[X(t)X(t+\tau)]=C(t,t+\tau) ;
（5） D[X(t)X(t+\tau)]=C(t,t)C(t+\tau,t+\tau)+C^2(t,t+\tau) ;
（6）\begin{aligned} &\operatorname{Cov}[X(s)X(s+\tau),X(t)X(t+\tau)]\&=C(s,t)C(s+\tau,t+\tau)+C(s,t+\tau)C(s+\tau,t) \end{aligned}。
（上述结论中(2)和(3)、(5)和(6)可以配套的！）
一定要注意这些性质的前提条件，即零均值，这是一个特殊的情况。
证明：第3次作业的第6题
第6题：(a) 写法上要注意， \operatorname{Cov}(X^2(s),X2(t)) 和C(s,t)其实是等价的，和均值函数的写法一样；（b)性质(2)(6)的证明难一些；©多次用到 E[X^2(s)X2(t)]-E[X^2(s)]E[X2(t)]=2E^2[X(s)X(t)]这个代换，性质(3)(5)，反正凡遇到 E[X^2(s)X2(t)] ，则用这个公式来拆！
1.3 定理
（1）正态过程为独立过程的充要条件为 C(s,t)=0(s \neq t) ；
例题：第3次作业的第4题
第4题：不要一开始误入歧途去分范围讨论自相关函数的结果，要证相互独立（他俩为正态过程是显而易见的），转换为m+n维联合分布（注意两个下标不能相同），其中又用到了正态过程导出其分布特点的定义！
（2）正态过程具有可加性；
证明：第3次作业的第2题
第2题：这里要首先知道 \begin{aligned} \varphi_{t_1,t_2,…,t_n}(u_1,u_2,…,u_n)&=E[{e^{{j(u_1X_{t_1}+u_2X_{t_2}+…+u_nX_{t_n})}}]\&=e}{j\mu^{Tu-\frac{1}{2}u}TCu}\&=\varphi_{t_1,t_2,…,t_n}(u) \end{aligned} ，然后就可以迎刃而解了，这个转换是之前一直忽略了的！此外，这道题答案用的定义证明，由正态过程得正态分布，再得正态过程（注意独立性！）
（3）正态过程是二阶矩过程，其有穷维分布由 m(t) 及其协方差确定。
例题：第5次作业的第1题
第1题：
二. 泊松过程
泊松过程用于研究随机点过程按时间顺序出现的情况。客观世界中，存在这样一类随机现象，它们发生的时间、地点或者相联系的某些属性，常常可以归属于某空间中点的随机发生，这种点就构成了随机点过程（早期称之为随机事件流）。比如：用盖格计数器来记录某类例子的到达、电话交换机接到的呼叫事件、通信系统运行中出现的误码、细胞中染色体发生的交换、航空公司接收到的托运订单等等，以上问题共同特点是关心某个事件 A ，如“到达”、“误码”、“交换”、“接受订单”等按时间顺序出现的情况。
实例：教材P46页。下面这个例子可以理解泊松过程研究的是什么，以及进一步理解随机过程：一天中某电话交换台接收到的呼叫形成一个随机点过程。每一次呼叫发生的时间就是一个随机点，这个点过程的一条现实（即样本函数）是一个时间的序列。（在研究的时候，貌似往往是以“时间段”为分析对象，而非“时刻”）
2.1 齐次泊松过程
2.1.1 判别
计数过程 {N(t),t\geq0} 是参数为 \lambda 的齐次泊松过程，当且仅当满足下列条件：(a) N(0)=0; (b) 具有独立增量；© 对任意 0\leq s k}{k!}e{-\lambda(t-s)},k=0,1,2,… 。
© 的证明：教材P48-49页。它可由条件(a)零初值性和条件(b)平稳增量性得证，还要用到下面等价定理的条件©(d)，也就是说，这里的条件©和下面等价定理中的条件©(d)是等价的。
等价定义：若取非负整数值得计数过程 {N(t),t \geq0} 满足下列条件：(a) N(0)=0; (b)具有平稳独立增量; © P{N(h)=1}=\lambda h+\circ(h), \lambda >0; (d) P{N(h) \geq2}=\circ(h) ，称随机过程 {N(t),t \geq0} 是参数（或平均率、强度）为 \lambda 的齐次泊松过程。
该定义中，(b)比较重要，其 X(t_2)-X(t_1), X(t_3)-X(t_2),… 中的 t 只要满足 t_1 2.1.2 数字特征
（1） N(t)\sim P(\lambda t) ；
（2） \varphi(t,u)=e^{\lambda t(e^{iu}-1)},0 \leq t<+\infty,u \in R ；
（3） m(t)=\lambda t ；
（4） D(t)=\lambda t ；
（5） C(s,t)=\lambda \min(s,t) （之所以用min是因为不明确s和t时刻的大小，下同）；
（6） R(s,t)=\lambda \min(s,t)+\lambda^2 st ；
（7） P{N(s)=j,N(t)=k}=\frac{\lambda ^k s^j (t-s)^{k-j}}{j! (k-j)!}e^{-\lambda t},(s 证明：(2)~(7)的推导：教材P50页
注意：(a)推导(2)时， \varphi(u,t)=E[e^{juN(t)}] 认准变量名然后往里代；(b)推导(7)时，用好平稳独立增量这个性质（“重构概率参数”+“独立性拆分”），包括以后遇到同样具有平稳独立增量性质的随机过程，要会用这个性质；©从推导(3)时可得 \lambda 是单位时间内平均到达事件数，称为随机事件的平均到达率，有了这个概念后，(3)和(4)也很好理解了；(d) 推导(6)时，也利用了泊松过程的平稳独立增量性进行了一个很精彩的构造。
2.1.3 性质
（1）泊松过程 {X(t),t \geq0} 为平稳独立增量过程（算概率的时候好好用这个性质）；
例题：第3次作业的第12题、第13题(1)
第12题：注意算的时候把t带上，并且第二问最先构造的时候要注意啦，“且”字！后面第（2）问的就好好感受“语义转换“的魅力吧，以及往平稳独立增量上面凑形式进而拆分的套路！
第13题(1)：常规套路，利用平稳独立增量性质无中生有的技巧
（2）泊松过程 {X(t),t \geq0} 为马尔可夫过程；
（3）泊松过程 {X(t),t \geq0} 为生灭过程；
（4）泊松过程 {X(t),t \geq0} 为均方连续、均方不可导、均方可积的二阶矩过程；
例题：第5次作业的第8题 、第10题、第3题
第8题：
第10题：
第3题：
（5）泊松过程 {X(t),t \geq0} 为非平稳过程，但为平稳增量过程（区分！对象不同）。
2.1.4 定理（中间几个定理是“频域”和“时域“的转换）
（1）若{N(t),t\geq0} 是参数为 \lambda 的齐次泊松过程。 0k(\frac{s}{\tau})k(1-\frac{s}{\tau})^{n-k},k=0,1,2,…,n 。
证明：第3次作业的第13题(2)(3)
注意：(a)这道题提醒了我泊松分布 N(t)=k 的含义是什么，即在 t 时刻内发生的次数，而非t 时刻时；(b)列条件概率式子的时候顺序不要搞错了，严格依照题意;（c)对于第(3)问，和(2)问的区别在于，(2)问是大中探小，而(3)问是小中窥大，做法可以和(2)问一样，但不是明智之举，何不先来个贝叶斯公式，然后直接可以使用(2)问的结论，哈哈哈。
（2）设 {T_n, n\geq1} 是参数为 \lambda 的泊松过程 {N(t),t \geq0} 的到达时间间隔序列，则{T_n, n\geq1}相互独立同服从指数分布( 1-e^{-\lambda t} )，且 E(T)=\frac{1}{\lambda} （即平均时间间隔）。
“到达时间间隔 ” T_n 表示第 n-1 次出现到第 n 次出现间的点间间距。
证明：教材P53页
注意：这里先从分布函数开始分析！！！用到了等价变换，分析的时候从 T_1 开始分析，然后分析 T_1 确定前提下的T_2,… 一步步上去（用到等价变换！）！概率密度为 \lambda e^{-\lambda t} ，含义为各种可能出现的时间间隔及其可能性。
（3）设 {W_n,n=1,2,…} 为参数为 \lambda 的泊松过程 {N(t),t \geq0} 的等待时间序列，则等待时间 W_n 服从 \Gamma 分布，其概率密度为 f_{W_n}(t)= \begin{equation} \left{ \begin{aligned} &\lambda e^{-\lambda t}\frac{(\lambda t)^{n-1}}{(n-1)!}, \qquad &t \geq 0,\&0,\qquad &t<0. \end{aligned} \right. \end{equation}
“等待时间序列” W_n 分别表示事件第1，第2，…，第n次出现的时间。
证明：教材P53页
注意：也是先从分布函数开始分析！以及最后那里的级数相减别弄错了！初始值不一样！
（4）（a）设 {N(t),t \geq 0} 是齐次泊松过程，已知事件 A 在 [0,t] 上出现1次，则这1次事件的到达时间 W_1 的条件概率密度为 \begin{equation} f_{W_1|N(t)}(s|N(t)=1)= \left{ \begin{aligned} &\frac{1}{t}, &0 \leq s 证明：教材P54页
注意：列式子的时候，要注意我们求的是分布！因此概率项要求的是小于不等式，对于条件概率分布，所列的条件概率公式也是一样的。从分布函数开始分析！难点还是等价关系的转换 P{W_1 （b）推广：设 {N(t),t \geq 0} 是泊松过程，已知在 (0,t] 时间内 A 出现 n 次，则这 n 次事件的到达时间 W_{1},W_{2},…,W_{n} 的联合条件概率密度为 f(t_1,t_2,…,t_n|N(t)=n)= \begin{equation} \left{ \begin{aligned} &\frac{n!}{t^n},&0 证明：教材P55页
例题：第3次作业的第17题( 教材P56页 )
第17题：把握这几个关键步骤：(1) 选对思路（定理6(b)），且建模时将到达时刻转换等待时间，人数服从泊松过程（复合柏松过程问题）；(2)以泊松过程变量将期望展开为条件概率期望；(3)先对里面的求解，服从均匀分布直接出结果，最后记得将n换成 N(t) ；(4)再对外层求结果。
（c）引理：设 {N(t),t \geq 0} 是参数为 \lambda 的齐次泊松过程，如果 [0,t) 内有 n 个随机事件A到达，则 n 个到达时间 \tau_1<\tau_2<…<\tau_n 和 n 个相互独立同服从 [0,t) 上均匀分布的随机变量 U_1,U_2,…,U_n 的顺序统计量 U_{(1)} （5）设{N_1(t),t \geq 0}和{N_2(t),t \geq 0}是相互独立，参数分别为 \lambda_1 和 \lambda_2 的泊松过程，则 {N(t)=N_1(t)+N_2(t),t \geq0} 是参数为 \lambda_1+\lambda_2 的柏松过程。该定理称为泊松过程的叠加定理。（和正态过程的一样具有可加性）
证明：教材P68-69页
（6）参数为 \lambda 的泊松过程 {N(t), t \geq 0} ，全体事件可分为 r 类，第 i 类事件发生的概率为 0 证明：教材P71-72页
例题：第3次作业的第14题、第15题、第16题（这几道题现实价值都挺大的）
第14题：(1)第1问:最基本的 A_n^{m=\frac{n!}{(n-m)!},C_n}m=\frac{n!}{m!(n-m)!} 不要忘记了！（2）第2问:用到第1问的结论，和伯努利分布求期望的公式 E=np ，从条件期望公式展开开始; (3) 该题的现实意义，教材P69页例题2.4.12，男顾客女顾客到达商场的情况，这道题的结果也可以当作一个一个泊松过程叠加性的例子吧。
第15题：证明独立性的时候，需要满足的等式，如果直接带进左右两端则没法证明的，这道题需要从等式左边（一开始写成 P{N_1(t)=m,N_2(t)=n} ）出发(联合概率)构造全概率公式来做，且中间的转换技巧也很关键。
第16题：可以 P{N_1(t)=10,N_2(t)<15} ，也可以 P{\tau_{(A,10)}<\tau_{(B,15)}} （其中 \tau 是开走前的等待时间），答案用的后者，二重区域积分弄出来结果。
2.2 非齐次泊松过程
非齐次泊松过程与齐次泊松过程的区别在于：非齐次泊松过程的增量分布与时间起点有关，即 \lambda 不是一个常数，而是一个强度函数 \lambda(t) 。之所以引进非齐次泊松过程，是因为大多数现实系统的实际点过程的到达率往往不能理想化为常数，比如观察通过某哨所的车流量，往往需要考虑高峰期等等，因此不满足泊松过程的增量平稳性特征。
2.2.1 判别
若计数过程 {N(t), t\geq0} 满足下列条件：(a) N(0)=0; (b) 具有独立增量；© P{N(t+ \Delta t)-N(t)=1}=\lambda(t) \Delta t+\circ(\Delta t); (d) P{N(t+\Delta t)-N(t) \geq 2}=\circ (\Delta t) ，则称 {N(t),t \geq 0} 为具有强度函数 \lambda(t)>0 (t \geq 0) 的非齐次泊松过程。
2.2.2 数字特征
（1）若 {N(t), t \geq0} 是非齐次泊松过程，且其强度函数 \lambda(t),t \geq 0 为连续函数，则在时间段 (t,t+s](t \geq 0,s>0) 内事件 A 出现 k 次的概率为 P{N(t+s)-N(t)=k}=\frac{[m(t+s)-m(t)]^k}{k!}e{-[m(t+s)-m(t)]},k=0,1,2,… ，其中 m(t)=\int_0^t \lambda(s) ds 。
由上式可知 {N(t+s)-N(t)} 服从均值为 m(t+s)-m(t) 的泊松分布 例题：教材P57页例题2.3.10
（2） m(t)=\int_0^t \lambda(s)ds 。
（3） D(t)=\int_0^t \lambda(s) ds 。
（4）一维特征函数为 \varphi(u)=\exp{(e^{{ju}-1)\int_0}t \lambda(t) dt} 。
证明：教材P57页
2.3 复合泊松过程
实际应用中我们往往还关注“总数量”，因此在非齐次泊松过程的基础上引入复合泊松过程。它具有很强的应用背景。
2.3.1 判别
若对于 t \geq 0 ， X(t) 可以表示为 X(t)=\sum_{n=1}^{N(t)}Y_n ，其中 {N(t),t\geq 0} 是一个泊松过程， Y_n,n=1,2,… 是独立同分布的随机变量序列，并与 {N(t),t \geq0} 相互独立（即与次数无关），则称随机过程 {X(t),t \geq 0} 为复合泊松过程。
实例：教材P64-65页（公交车到站的例子！及公交车到站数是泊松过程，公交车里面的人数又是一个随机过程，考虑这两个因素的复合，就是到站总人数）
理解： Y_1,Y_2,… 是同分布的随机变量，但并不局限在哪一种分布，但是这个合成的分布Q(t)却与泊松分布有关。
例题：第3次作业的第5题
第5题:用反证，证明到 P{N_1(t)-N_2(t)=-1}>0 即可，原因是：如果 N_1(t)-N_2(t) 是复合泊松过程，不管合成是怎样的，反正这个合成需要和泊松分布有关，因此反证的思路就是证明它和泊松分布无关。
2.3.2 数字特征
设 {X(t)=\sum_{n=1}^{N(t)}Y_n,t \geq0} 是一个复合泊松过程，泊松过程{N(t),t\geq 0}的强度为 \lambda ，则 {X(t),t \geq 0} 满足：
（1）是独立增量过程；
（2）一维特征函数为 \varphi_X(u;t)=e^{\lambda t[\varphi Y_1(u)-1]} ；
（3） E[X(t)]=\lambda t E(Y_1)=E[N(t)]E(Y_1) ，
D[X(t)]=\lambda tE(Y_1^{2)=E[N(t)]E(Y_1}2) 。
证明：教材P65-66页
例题：教材P66页的例2.4.9
2.4 更新计数过程
齐次泊松过程的到达时间间隔序列相互独立同服从指数分布，但实际计数过程的到达时间间隔序列往往仅满足相互独立同分布性，因此有必要对齐次泊松过程进行推广。
2.4.1 判别
设 {T_n,n=1,2,…} 是相互独立同分布的非负随机变量序列，其分布函数均为 F(t) ，令 W_n=\sum_{i=1}^nT_i,n \geq1,W_0=0 。将由 N(t)=\sup{n:W_n \leq t} 定义的计数过程 {N(t),t \geq0} 称为更新（计数）过程，称其均值函数 M(t)=E[N(t)] 为更新函数，称 {T_n,n=1,2,…} 为更新间距。
上述记号 \sup 表示“上确界“，即最小的上界 实例：教材P59-60页
2.4.2 性质
设 \tau_k 为计数过程 {N(t),t \geq 0} 第 k 个事件的到达时间， \tau_k=T_1+T_2+…+T_k，事件 {N(t) 2.4.3 定理
（1）设 {N(t),t \geq0} 是更新过程，其更新函数为 M(t)=E[N(t)]=\sum_{n=1}^\infty F_n(t) （若更新函数的导函数存在，记 m(t)=M’(t) 称为更新过程的更新密度（强度），有 m(t)=\sum_{n=1}^\infty F’n(t)=\sum{n=1}^\infty f_n(t) ）。
证明：教材P63页
（2）更新计数过程 {N(t),t \geq 0} 是泊松过程的充要条件是更新间距具有指数分布。
价值：教材P62页，该定理可以给出泊松过程的又一种定义方法，这种定义方法提供了一种在计算机上模拟泊松过程现实的途径
三. 维纳过程
维纳过程对布朗运动在理论上做出了精确的数学描述。布朗运动是物理学家布朗在观察漂浮在液面上的花粉的不规则运动而提出的。因此布朗运动又称为维纳过程。
它是最基本同时也是最重要的随机过程，许多随机过程都可以看做是它在某种意义下的推广。
3.1 判别
如果随机过程 {W(t),t \geq 0} 满足下列条件：(a) W(0)=0; (b) E[W(t)]=0; © 具有平稳独立增量；(d) t>0,W(t) \sim N(0,\sigma^2 t),\sigma>0 ，称随机过程{W(t),t \geq 0}是参数为 \sigma^2 的维纳过程。（若 \sigma=1 ，则称为标准维纳过程）。
注意，这里又有平稳独立增量性，好好用这个性质哟！像之前的泊松过程那样！
3个等价条件：(a) 是独立增量过程；(b)对任意 s,t \geq0,W_t-W_s \sim N(0,\sigma^2|t-s|)(\sigma>0) ；© P{W_0=0}=1 。
思想和推导：教材P41页（先从离散情形建模开始，求出均值和方差的表达式，再推广至连续情形，最后来个泛函中心极限定理证明它趋近于正态分布！），一定要注意：维纳过程的模型，等概率（即1/2）地向左或向右移动。
理解：维纳过程研究这样一种情形：一个粒子遵从上述游走模型运动，第t步后它会与初始位置有一个偏移量。当然，进行多次实验它都可能会在同样的步数后处于不同的偏移位移，拿出三维模型进行多次实验结果的叠加，可以得到不同时刻的不同偏移量在所有实验中出现频率的一个统计分布，神奇的是，它就是正态分布。
3.2 数字特征
（1） W(t)-W(s) \sim N(0,\sigma^2 |t-s|) 。
（2） f(t,x)=\frac{1}{\sqrt{2 \pi t}\sigma}e^{-\frac{x2}{2\sigma^2t}} ,0 \leq t < +\infty, x \in R 。
（3） \varphi(t,u)=e^{{-\frac{1}{2}\sigma}2 t u ^2},0 \leq t< +\infty,u \in R 。
（4） C(s,t)=\sigma^2 \min(s,t) 。
(4)的推导和泊松过程那里一样，利用独立增量性来进行变形和拆分！
（5） (W(t),W(s))\sim N(0,C) 。
（6） f(s,t;x,y)=\frac{1}{2 \pi \sigma^2 \sqrt{st-s^2}}e{-\frac{1}{2 \sigma^2(st-s2)}(tx^2-2sxy+sy2)} 。
（7） \varphi(s,t;u,v)=e^{{-\frac{\sigma}2}{2}(su^2+2suv+tv2)}
（8） C= \begin{pmatrix} \sigma^2 s &\sigma^2 s\ \sigma^2 s & \sigma^2 t \end{pmatrix} ,s （9） f(t_1,t_2,…,t_n;x_1,x_2,…,x_n)=\frac{1}{(2 \pi)^{n/2}|C|{1/2}} \exp{-\frac{1}{2}x’ C^{-1}x} 。
（10） \varphi(t_1,t_2,…,t_n;u_1,u_2,…,u_n)=\exp{-\frac{1}{2}u’ C u} 。
注意协方差矩阵 C 的表示
例题：第3次作业的第7题、第8题、第10题、第9题
第7题和第8题：带均值函数公式的时候一定要注意是一维的还是二维的！
第10题：像这种算数字特征的，千万别一开始就代入概率密度函数进去！这里的套路，将复杂的协方差用均值作为桥梁来拆分成更简单的协方差！这道题还要用到公式 D(X,Y)=D(X)+D(Y)+2\operatorname{Cov}(X,Y) 。
第9题：好题！综合了正态过程和维纳过程，第二问首先要清楚：维纳过程也是正态过程！因此要一下子就判断出 X(t) 是正态过程，然后即可构造出概率密度函数和特征函数的框架，往里面塞第1问的数字特征计算结果。
3.3 性质
（1）维纳过程 {X(t), t\geq 0} 为平稳独立增量过程；
例题：第6次作业的第8题
第8题：
（2）维纳过程 {X(t), t\geq 0}为正态过程；
证明：教材P42页
（3）维纳过程 {X(t), t\geq 0} 为马尔可夫过程；
（4）维纳过程 {X(t), t\geq 0} 为均方连续、均方不可导、均方可积的二阶矩过程；
例题：第5次作业的第7题、第9题、第11题
第7题:
第9题:
第11题:
（5）维纳过程 {X(t), t\geq 0} 为非平稳过程，但为平稳增量过程。
3.4 定理
（1）设 {W_t,t \geq 0} 是正态过程，若 W_0=0 ，对任意 s,t>0 ，有 E(W_t)=0,E(W_s W_t)=C^2 \min(s,t),C>0 ，且轨道连续，则 {W_t,t \geq0} 是维纳过程，反之亦然。
例题：第3次作业的第11题(2)
其中，轨道连续是指随机过程的样本函数是连续函数。可以证明维拉过程 {W_t,t \geq 0} 几乎所有样本函数都是连续的，即存在 A\subset \Omega, P(A)=1 ，使 \omega \in A 时， W_t(\omega) 在 [0, +\infty) 上连续。用上述定理还可以得到一系列有用的结论：
（2）设 {W_t,t \geq0} 是参数为 \sigma^2 的维纳过程，记 W_t=W(t),t \geq 0 ，则
(a) 对任意 \tau \geq 0,{W(t+\tau)-W(\tau),t \geq0};
(b) 对常数 \lambda>0,{\frac{1}{\sqrt \lambda}W(\lambda t),t \geq 0};
© {tW(\frac{1}{t}),t \geq0}, 其中 t W(\frac{1}{t})|{t=0}=0 ；
仍为维纳过程。
证明：教材P44页
四. 马尔可夫过程
马尔可夫过程主要用于在已知“现在”的条件下，过程“将来”的演变与“过去”无关的随机过程分析中。比如经典力学中，物体在给定时刻 t 的轨道，可以完全由它在某时刻 t_0 4.1 离散马尔可夫过程
它是重点讨论的内容，也是马氏过程中应用最广泛的随机过程之一。
4.1.1 判别
随机变量序列 {X_n,n=0,1,2,…} 的状态空间为 E={0,1,2,…} ，若对任意非负整数 k,l 及 0 \leq n_1{n_1},i_{n_2},…,i_{n_l},i_m,i_{m+k} \in E, 有 P{X_{m+k}=i_{m+k}|X_{n_1}=i_1,…,X_{n_l}=i_l,X_m=i_m}=P{X_{m+k}=i_{m+k}|X_m=i_m} 成立，则称 {X_n,n=0,1,2,…} 为离散参数马尔可夫链，简称马氏链。
等价定义：随机变量序列 {X_n,n=0,1,2…} 的状态空间为 E={0,1,2,…}, 若对任意非负整数 m ，以及 i_0,i_1,…,i_m,i_{m+1}\in E, 有 P{X_{m+1}=i_{m+1}|X_{m}=i_m,X_{m-1}=i_{m-1},…,X_0=i_0}=P{X_{m+1}=i_{m+1}|X_m=i_m}成立，则{X_n,n=0,1,2,…} 为离散参数马尔可夫链。
实例：教材P183页（Polya传染病模型（黑球）的例子，看它是怎么分析和建模的！）
例题：第4次作业的第2题、第6题
第2题：(1)令 Z(n) ，它是一个马氏链；(2)构造 Y(n) 的等式，与Z(n) 转换，得出等式右端，最后转换回去。
第6题：证明不是，直接反例，由题可以求出三个值的，只是以下反例没经验只能记一下了 P{Y_n=1|Y_{n-1}=\frac{1}{2},Y_{n-2}=1}\neq P{Y_n=1|Y_{n-1}=\frac{1}{2}} 。
4.1.2 数字特征
（1） p_{ij}^{(k)}(m)=P{X_{m+k}=j|X_m=i} 为马氏链 {X_n,n=0,1,2…} 在 m 时刻的 k 步转移概率。（它的含义是：从 m 时刻出发，由状态 i 经过 k 步后，到达状态 j 的概率）。
（2）矩阵 P^{{(k)}(m)=(p_{ij}}{(k)}(m))= \begin{pmatrix} p_{00}^{(k)}(m) &p_{01}^{{(k)}(m)&…&p_{0n}}{(k)}(m)&…\ p_{10}^{(k)}(m) &p_{11}^{{(k)}(m)&…&p_{1n}}{(k)}(m)&…\ …&…&&…\ p_{n0}^{(k)}(m) &p_{n1}^{{(k)}(m)&…&p_{nn}}{(k)}(m)&…\ \end{pmatrix} 为马氏
链 {X_n,n=0,1,2,…} 在时刻 m 时的 k 步转移（概率）矩阵。（由转移概率的定义，显然有 p_{ij}^{(k)}(m) \geq0, \sum_{i \in E}p_{ij}^{(k)}(m)=1 ）。
（3）马氏过程 {X_t,t \in T} 的有限维分布（即n维概率分布）由一维分布和条件分布完全确定。对于离散参数马氏链， P{X_{t_1}=x_1,X_{t_2}=x_2,…,X_{t_n}=x_n}= P{X_{t_1}=x_1}P{X_{t_2}=x_2|X_{t_1}=x_1}…P{X_{t_n}=x_n|X_{t_{n-1}}=x_{n-1}} 。
例题：第4次作业的第7题、第8题
第7题：公式(3)使用前提，必须是状态点，而非状态范围。此处先条件概率公式展开！
第8题：代入数值枚举，要往“前”看，其中好多其实直接可以判为概率为1了，即只考虑前面几个会对结果有影响的X，从而大大简化计算了！
（4）离散参数马氏链 {X_n,n=0,1,2,…} 的转移概率 p_{ij}^{(k)}(m), 满足C-K（Chapman-Kolmogrov）方程 p_{ij}^{(k+l)}(m)=\sum_{r \in E}p_{ir}^{(k)}(m) p_{rj}^{(j)}(m+k) ，其矩阵形式为 P^{(k+l)}(m)=P{(k)}(m)P^{(l)}(m+k) 。
证明：教材P185页（这里的条件概率转换为全概率的技巧）
（5）马氏链的逆序也构成一个马氏链。
证明：第4次作业的第4题
第4题：更进一步理解马氏链，刷新两点认识： P{n|1,2,…,n-1}=P{n|2,3,…,n-1} 和 P{n-1|1,2,…,n-2}=P{n-1|2,3,…,n-2} （不一定非要以n作为end，它是一条链，所以选取中间某一段都可以！）
4.2 齐次马尔可夫过程
4.2.1 判别
若马氏链 {X_n,n=0,1,2,…} 的一步转移概率 p_{ij}(m) 与初始时刻 m 无关，即 p_{ij}(m)=P{X_{m+1}=j|X_m=i}=p_{ij}, 则称 {X_n,n=0,1,…} 为齐次马尔可夫链，简称齐次马氏链。
实例：教材P186页（回想之前的Polya传染病模型（黑球）的例子，它不是一个非齐次马尔可夫过程！）
齐次马氏链中的随机游动过程，要会判别以下4种特殊的情形：
（a) 自由（无限制）随机游动；（b）带有两个吸收壁的随机游动；（c）带有两个反射壁的随机游动；（d）带有两个弹性壁的随机游动
定义：教材P187-188页，重点掌握它们的概率转移矩阵。现实中许多问题可以抽象成随机游动过程，比如赌徒输光问题等等。
例题：第4次作业的第10题，第12题
第10题：我们的小组选题，已经很熟悉了！关键在于中间 u_{a}-u_0 那一下，得到 u_1 ，进而代回得到 u_a 。
第12题：读题要仔细，状态空间中还有-2和-1！
4.2.2 数字特征
（1）齐次马氏链的 n 步转移矩阵等于一步转移矩阵的 n 次方，即 P^{(n)}=Pn 。
证明：教材P189页（就是由C-K方程证明得来的）
例题：第4次作业的第11题，5题
第11题：后两问，式子要列对，条件概率，然后可以用转移矩阵来直接解出，注意使用k步绝对分布和k步概率转移矩阵。这就是齐次马氏链的威力，进一步说明了，实际问题要先分析是否属于某一种常见的随机过程，然后有很多好的性质定理可以用来算复杂的概率！
第5题：推广的状态概率转移矩阵的构建，最后由两步转移矩阵求概率的时候，由于周三未知，所以下雨和不下雨都要考虑，加起来！关键在于明白两步状态转移矩阵的行列意义，即分别代表哪两天的情况！
（2）齐次马氏链的绝对分布由初始分布和一步转移概率确定，且满足 \pi_j(n)=\sum_{i \in E}\pi_i(0) p_{ij}^{(n)} 或记为向量形式 \pi(n)=\pi (0) P^n 。（注意它和性质（1）是不一样的）
证明：教材P189页 给定齐次马氏链 {X_n,n=0,1,2,…} ，记 \pi_i(n)=P{X_n=i},i=0,1,2,…, 称 X_n 的概率分布向量 \pi(n)=[\pi_1(n),\pi_2(n),…,\pi_i(n),…] 为齐次马氏链的绝对分布，称 X_0 的概率分布向量 \pi(0)=[\pi_1(0),\pi_2(0),…,\pi_i(0),…] 为齐次马氏链的初始分布。
例题：第4次作业的第14题
第14题：用到了矩阵分解算n步状态转移概率矩阵！单纯矩阵的谱分解！乘的时候，两边就很微妙了，而且答案构造的和普通的不一样，还对特征向量做了归一化。遍历性，这种情况先证明它是遍历的，然后用一步概率转移矩阵就可以了！
（3）齐次马氏链的有限维分布由初始分布和转移概率确定，即对任意 k>1 及 i_1,i_2,…,i_k \in E 满足 P{X_{n_1}=i_1,X_{n_2}=i_2,…,X_{n_k}=i_k}=\sum_{i \in E} \pi_i(0) p_{ii_1}^{{(n_1)}p_{i_1i_2}}{(n_2)}…p_{i_{k-1}i_k}^{(n_k-n_{k-1})}, 其中 P{X_{n_1}=i_1,X_{n_2}=i_2,…,X_{n_k}=i_k} 为齐次马氏链的 k 维概率分布。
证明：教材P190页
例题：第4次作业的第9题
第9题：n步矩阵可以通过前1，2，3，4步矩阵找到规律，然后分奇偶来进行讨论。
（4）齐次马氏链 {X_n,n=0,1,2,…} 的转移概率 p_{ij}^{(k)} 满足C-K方程 p_{ij}^{(k+l)}=\sum_{r \in E}p_{ir}^{(k)} p_{rj}^{(l)}, 其矩阵形式为 P^{(k+l)}=P{(k)}P^{(l)} 。
4.2.3 状态分类定理
为揭示齐次马氏链的基本结构，需对其所有状态按照不同的概率特性进行分类。状态分类是研究 n 步转移概率 P_{ij}^{(n)} 的极限状态的基础，在物理的解释中也有着重要的作用。
（1）基本概念
“可达”、“不可达“、”首达时间 T_{ij} “、”首返时间 T_{ii} “、”平均首达时间 \mu_{ij} “、”平均首返时间 \mu_{ii} “、“首达概率 f^{(n)}{ij} ”、“首返概率 f^{(n)}{ii} “、”最终到达概率 f_{ij} “和”最终返回概率 f_{ii} “。
一定要能够写出数学描述，并且平均首达（返）时间是因为首达（返）时间每次进行时（即每个样本）的值可能不一样！且这几个式子要熟悉：
\mu_{ij}=E(T_{ij})=\sum_{n=1}^{\infty}n f^{(n)}{ij} ;
f{ij}^{(n)}=\sum_{i_1 \neq j}\sum_{i_2 \neq j}…\sum_{i_3 \neq j}p_{ii_1}p_{i_1i_2}…p_{i_{n-1}i_j} ;
f_{ij}=\sum_{n=1}^{\infty}f{(n)}{ij} ;
P{ij}^{{(n)}=\sum_{m=1}}n f_{ij}^{(m)}p_{jj}{(n-m)};
例题：第4次作业的第13题
第13题：(1)造图；(2)先分析到1的情况，设每个节点到1的终达概率，再利用各节点到相邻节点的一步转移概率和转移到的节点到1的终达概率建立方程组，求解；(3)做法同(1)，以节点5为分析对象。
（2）状态分类
（a） i 是非常返状态（ f_{ii}<1 ）\Leftrightarrow \sum_{n=1}^{{\infty}p_{ii}}{(n)}< +\infty (此时 \lim_{n \rightarrow \infty}p_{ii}^{(n)}=0 )；（b） i 是零常返状态（ f_{ii}=1） \Leftrightarrow \sum_{n=1}^{{\infty}p_{ii}}{(n)}=+\infty, 且 \lim_{n\rightarrow \infty}p_{ii}^{(n)}=0 ；（c）i 是正常返状态(f_{ii}=1) \Leftrightarrow \sum_{n=1}^{{\infty}p_{ii}}{(n)}=+\infty, 且 \lim_{n\rightarrow \infty}p_{ii}^{(n)}\neq0 ；（d）i 是遍历状态（即非周期的正常返态） \Leftrightarrow \sum_{n=1}^{{\infty}p_{ii}}{(n)}=\frac{1}{\mu_i} 且 \lim_{n\rightarrow \infty}p_{ii}^{(n)}\neq0 ；
消极常返状态，即步长趋近于 +\infty的情况
例题：第4次作业的第16题(2)问
第16题(2)问：算首返并不是说所有的n都有非零值，一定要是这n步后是首次返回的！对于首达也是一个道理。一般从小到达算到一个n后，后面就基本不存在，即全为0值了！
（3）周期性
（a）定义：状态 i 的周期为 d=G.C.D {n:p_{ii}^{(n)}>0} ，其中 G.C.D 表示最大公约数。若状态i有周期 d>1 ，则当且仅当 n=d,2d,3d,…,kd,… 时 p_{ii}^{(n)}>0 ，其余有p_{ii}^{(n)}=0；若 d=1 则称状态i是非周期的。
注意：每一个状态有一个周期！
推论1：若 C 是一个常返闭集，则 C 中每一状态，或者都是非周期的，或者都是同周期的状态；
推论2：如果马氏链是不可约常返链，那么只要有一个是周期 d 的状态，则状态空间 E 都是周期为 d 的状态。
（b）定理：如果 i 是遍历态（即非周期常返状态），则 \lim_{n\rightarrow +\infty}p_{ii}^{(n)}=\frac{1}{\mu_i}, 若i 是周期为 d 的正常返状态，则\lim_{n\rightarrow +\infty}p_{ii}^{(nd)}=\frac{d}{\mu_i}, 其中 \mu_i=E(T_{ii}) 。
（4）总结
判断状态类型，首先看是“非常返态”还是“常返态”。若为“常返态“，则判断是“零常返态“还是”正常返态“。若为”正常返态“，则判断是”有周期“还是”非周期“。如果是”非周期“的“常返态“，则为”遍历态“。
4.2.4 状态分解定理
首先要搞清楚“互通“关系及其“传递性”、“对称性”和“自反性”（证明：教材P207页），以及“闭集“、“不可约马氏链”和“有限马氏链”的概念。
（1）设状态 i 和 j 互通，则：(a) i 和 j同为非周期状态或周期状态（且有相同的周期）；(b) i 和 j同为非常返状态或常返状态；© 若i 和 j同为常返状态，则它们同为正常返状态或零常返状态；(d) 若i 和 j同为正常返状态，则它们或同为周期状态，并具有相同周期；或同为非周期状态（此时均为遍历状态）。
证明：教材P208页（总之一句话，状态啥都一样！）
（2）齐次马氏链的状态空间 E 可以唯一地分解为 E=N+C_1+C_2+…+C_k+…, 其中 N 是全体非常返状态的集合， C_1,C_2,…,C_K,… 是互不相交的不可约常返闭集。
清楚以下几点：(a)马氏链为不可约马氏链 \Leftrightarrow 任何两个状态相通；(b)一个不可约马氏链或没有非常返状态，或没有常返状态;（c)不可约马氏链是常返状态 \Leftrightarrow y_i=\sum_{j \in E}p_{ij}y_j 没有非零的有界解。
（3）设 N 是非常返态集， i \in N,j 是常返态，则最终概率 f_{ij} 满足以下方程 f_{ij}=\sum_{k \in N}p_{ik}f_{kj}+\sum_{k \in H}p_{ik},i \in N, 其中 H={k|k\leftrightarrow j,k \in E}
证明：教材P213页
（4）若一个马氏链的状态空间是有限集合时，称其为有限马氏链，它具有如下性质：（a）所有非常返状态所组成的集合不可能是闭集；（b）没有零常返状态（因为n不能趋近于无穷了）；（c）必有正常返状态；（d）状态空间可分解为 E=N+C_1+C_2+…+C_k 。
例题：第4次作业的第16题(3)问
第16题(3)问：要有感觉，划分的思想。常返和非常返，再者就是常返中的划分。
4.2.5 遍历性和平稳性
对于马氏链系统，往往关心这样的问题：若马氏链的状态转移过程无限进行，系统最终是否会达到某种平衡？
遍历性定理之前，首先清楚下述定义：设 {X_n,n=0,1,2,…} 为齐次马氏链，若对一切状态 i 和 j ，存在与 i 无关的常数 \pi_j>0, 使得 \lim_{n \rightarrow +\infty}p_{ij}^{(n)}=\pi_j,i,j \in E, 则称此马氏链具有遍历性。若对任意 j \in E, \pi_j >0 且 \sum_{j \in E}\pi_j=1 ，称 {\pi_j,j \in E} 为马氏链的极限分布或最终分布，记为 \Pi={\pi_j,j \in E} 。显然，极限分布是一个概率向量。
（1）设齐次马氏链 {X_n,n=0,1,2,…} 的状态空间 E={1,2,…,s} 为有限，若存在正整数 n_0 ，对任意 i,j \in E ，有 p_{ij}^{(n_0)}>0, 则此链是遍历的。且其极限分布\Pi={\pi_j,j \in E}是方程组 \pi_j=\sum_{i=1}^s \pi_i p_{ij},j=1,2,…,s 满足条件 \pi_j>0, \sum_{i=1}^{s}\pi_j =1 的唯一解。
平稳性定理之前，同样让我们先清楚下述定义：设 {X_n,n=0,1,2,…} 为齐次马氏链，若存在 {v_j,j\in E} 满足条件：（1） v_j \geq0,j \in E ；（2） \sum_{j \in E}v_j=1 ；（3） v_j=\sum_{i\in E}v_ip_{ij} 。则称此马氏链是平稳的，且称{v_j,j\in E}为此马氏链的平稳分布。
（2）若马氏链的初始分布是一个平稳分布 V ，则其绝对分布为 \pi(n)=V, 即绝对分布保持不变。
证明：教材P197页
（3）遍历齐次马氏链的极限分布为平稳分布。
证明：教材P197页
例题：第4次作业的第15题
第15题：把这里的遍历性和状态分类的遍历性区分开！且第三问早求条件概率时，一定要用马尔可夫过程的无后效性简化！
4.3 连续参数马尔可夫过程
将它看做是离散情形的推广，对比哪些性质还在成立
4.3.1 判别
设随机过程 {X_t,t \geq 0} 的，若对任意 n>1,0\leq t_00, 就有 P{X_{t_{n+1}}=i_{n+1}|X_{t_0}=i_0,X_{t_1}=i_1,…,X_{t_n}=i_n}=P{X_{t_{n+1}}=j|X_{t_n}=i_n}, 则称{X_t,t \geq 0}为连续参数马尔可夫链。若对任意 s,t\geq0 及 i,j \in E ，有 P{X_{t+s}=j|X_s=i}=P{X_t=j|X_0=i}\overset{\Delta}{=}p_{ij}(t), 则称{X_t,t \geq 0}为连续参数齐次马氏链。
此外，还要清楚“转移概率函数”、“转移矩阵”、“连续参数齐次马氏链的初始分布”、“连续参数齐次马氏链的绝对分布”、“连续参数齐次马氏链的平稳分布”的概念。教材P216起
4.3.2 数字特征
（1）连续参数齐次马氏链{X_t,t \geq 0}的转移概率 p_{ij}(t) 满足C-K方程，即 p_{ij}(s+t)=\sum_{r \in E}p_{ir}(t)p_{rj}(s)=\sum_{r \in E}p_{ir}(s)p_{rj}(t) ，矩阵表示为 P(s+t)=P(s)P(t) 。
（2）连续参数齐次马氏链{X_t,t \geq 0}的绝对分布由初始分布和转移概率确定，且满足 p_j(t)=\sum_{i \in E}p_i p_{ij}(t) ，矩阵表示为 \widetilde{P}(t)=\widetilde{P}0P(t) 。
（3）设连续参数齐次马氏链{X_t,t \geq 0}的状态 E={0,1,2,…,s} ，若存在 t_0>0, 对任意 i.j \in E ,由 p{ij}(t_0)>0 。则此链是遍历的，且极限分布 {\pi_j,j \in E} 是唯一的平稳分布。有 \begin{equation} \left{ \begin{aligned} &\pi_j=\sum_{i=1}^s \pi_i p_{ij}(t)\ &\sum_{i=1}^s \pi_i=1 \end{aligned} \right. \end{equation} ,其中 \pi_j>0(j=1,2,…,s) 。
（4）对于固定的 i,j, 函数 p_{ij}(t) 是 t>0 的一致连续函数。
证明：教材P217页
（5）满足连续性条件的连续参数齐次马氏链{X_t,t \geq 0}存在下列极限 \lim_{t\rightarrow 0^+} \frac{1-p_{ii}(t)}{t}=q_{ii}=q_i, \lim_{t \rightarrow0^+}\frac{p_{ij}(t)}{t}=q_{ij}(i \neq j) ，其中 q_i 表示在 t 时刻通过状态 i 的通过速度， q_{ij} 表示在时刻 t 由状态 i 到状态 j 的速度。
由此可以构建状态转移速度（率）矩阵（即 Q 矩阵），教材P218页
4.3.3 定理
（1）设连续参数齐次马氏链{X_t,t \geq 0}，状态空间 E={0,1,2,…,s} ，则其转移速度满足 0\leq q_{ij}< +\infty, \sum_{j \in E,j \neq i}q_{ij}\leq q_i \leq +\infty 。
（2）设连续参数齐次马氏链{X_t,t \geq 0}的 Q 矩阵为保守矩阵，则满足后退微分方程 \frac{dp_{ij}(t)}{dt}=-q_ip_{ij}(t)+\sum_{k \in E,k \neq j}q_{ik}p_{kj}(t) 或 P’(t)=QP(t) 。
保守Q矩阵的定义在教材P218页
（3）{X_t,t \geq 0}为设连续参数齐次马氏链，若 \forall i \in E ，有 q_i<+\infty, \lim_{t\rightarrow 0^+}\frac{p_{ij}(t)}{t}=q_{rj} 对 j 一致成立，则有前进微分方程 \frac{dp_{ij}(t)}{dt}=-p_{ij}(t)q_j+\sum_{k \in E,k \neq j}p_{ik}(t)q_{kj} 或 P’(t)=P(t)Q 。
（4）不可约的连续参数齐次马氏链{X_t,t \geq 0}存在极限分布，即为平稳分布 \Pi={\pi_j,j \in E} ，满足 -\pi_j q_j+\sum_{i \in E,i \neq j}\pi_jp_{ij}=0， 即 \Pi Q=0 。