常见随机过程（二）（备份草稿）

续《常见随机过程》（一）。
五. 平稳过程
5.1 判别
5.2 数字特征
5.3 定理
5.4 谱密度
六. 附录
6.1 均方微积分
6.1.1 二阶矩空间H
6.1.1.1 定义； 6.1.1.2 性质；
6.1.2 均方极限
6.1.2.1 定义； 6.1.2.2 性质；6.1.2.3 定理；6.1.2.4 随机过程的均方极限
6.1.3 均方连续
6.1.3.1 定义； 6.1.3.2 定理
6.1.4 均方导数
6.1.4.1 定义；6.1.4.2 性质； 6.1.4.3 定理
6.1.5 均方积分
6.1.5.1 定义； 6.1.5.2 性质； 6.1.5.3 定理
6.1.6 正态过程的均方微积分
6.1.6.1 定理

随机理论中，统计规律性是在对大量随机现象的考察中显现出来的，而对这些结论的描述往往要借助极限理论。
6.1.1 二阶矩空间H
均方微积分之所以研究二阶矩空间，是因为很多情况下我们是无法直接得到随机过程的分布的，而是通过这些二阶矩，或者说是方差，来进行推断统计（估计，假设检验那些），从而得到随机过程的分布。
6.1.1.1 定义
一个随机过程 {X(t),t \in T}, 若对任意的 t\in T, 有 E[|X(t)|^2]<+\infty 称此过程为二阶矩过程。概率空间 (\Omega,\Re,P) 上所有具有二阶矩的随机变量称为二阶矩随机变量，其全体记为 H 。定义在概率空间(\Omega,\Re,P)上具有有限二阶矩的随机变量的全体组成的集合 H={X:E[|X|^2]<+\infty} 为二阶矩空间。
\sigma -代数或随机事件域的定义在教材P3-4页
使用该定义来判断一个过程是否是二阶矩过程
（参见第5次作业的第1题 ）
6.1.1.2 性质
（1） H 对加法和数乘封闭，即 H 是一线性空间。
证明：教材P80-81页。在 H 上我们定义范数： X \in H ，令 ||X||=\sqrt{E[|X|^2]}
（2） H 为线性赋范空间。
证明：教材P81页。满足“正定性“、”齐次性“和”三角不等式“
（3） H 为内积空间。
在 H 上定义内积： X,Y \in H ，令 (X,Y)=E(X \overline{Y})
（4） H 为距离空间。
证明：教材P81页。满足“非负性”、“对称性“和”三角不等式“。在 H 空间中引入距离概念，对任意 X,Y \in H ，令 d(X,Y)=||X-Y||
（5）H 为完备空间。
6.1.1.3 定理
H 是一个完备的线性赋范、内积空间，因此它与实数集等价。（或者叫做“同构”，即 H 可以通过一个映射将其元素）
通过2.1.2中的5个性质论述二阶矩空间和实数集等价，是建立均方微积分学的基础
6.1.2 均方极限
6.1.2.1 定义
设有二阶矩随机序列 {X_n,n=1,2,…} 和随机变量 X ，如果
\lim_{n\rightarrow \infty}E[|X_n-X|^2]=0，则称 X_n 均方收敛于 X ，称 X 为 X_n 的均方极限，记为 \operatorname*{l.i.m.}{n \to \infty} X_n=X。
该定理可以拿来求解。使用公式 \operatorname*{l.i.m.}{n \to \infty} X_n=X 。有时为了简化计算，一般先做转换 \varphi_{X_n}(u)=E(e^{iuX_n}) ，通过\operatorname*{l.i.m.}{n \to \infty} \varphi{X_n}(u)=\varphi_X(u) 求出极限分布 X 的特征函数 \varphi_X(u) ，最后再得出 X 。
注意：（1）在上述 E(e^{iuX_n}) 中，若具有“嵌套结构”，比如下标 n 还服从一个随机过程，则往往使用条件期望公式来进行分离。
（参见第5次作业的第4题 ）
6.1.2.2 性质
（1）均方极限是唯一的，即若 \operatorname*{l.i.m.}{n \to \infty} X_n=X且 \operatorname*{l.i.m.}{n \to \infty} X_n=Y，则 P{X=Y}=1 。
（2）若 \operatorname*{l.i.m.}{n \to \infty} X_n=X, \operatorname*{l.i.m.}{n \to \infty} Y_n=Y，则 \forall , a,b \in R ,\operatorname*{l.i.m.}{n \to \infty} (a X_n+b Y_n)=aX+bY，
证明：教材P83页
（3）若 \operatorname*{l.i.m.}{n \to \infty} X_n=X，则 \lim_{n \to \infty}E(X_n)=E(\operatorname*{l.i.m.}{n \to \infty} X_n)=E(X) 。
（4）若 \operatorname*{l.i.m.}{m \to \infty} X_m=X, \operatorname*{l.i.m.}{n \to \infty} Y_n=Y，则 \lim{m \to \infty \n\to \infty} E(X_mY_n)=E(XY) 。
（5）若 \operatorname*{l.i.m.}{n \to \infty} X_n=X，则 \lim{n \to \infty}E(|X_n|^2)=E(|\operatorname*{l.i.m.}{n \to \infty} X_n|^2)=E(|X|2) 。
（6）若 \operatorname*{l.i.m.}{n \to \infty} X_n=X，则 \lim_{n \to \infty}D(X_n)=D(\operatorname*{l.i.m.}{n \to \infty} X_n)=D(X) 。
（7）若\operatorname*{l.i.m.}{n \to \infty} X_n=X，则 \lim_{n \to \infty}E(e^{itX_n})=E(e{itX}) 。
（8）若 {a_n} 为普通数列， \lim_{n \to \infty}a_n=0, 则\operatorname*{l.i.m.}{n \to \infty} (a_nX)=0。
一句话概括性质（3）~（7）：（均方）极限和期望可交换，本质就是求和，所以期望、积分和极限都可以交换顺序，因为它们都绝对收敛
6.1.2.3 定理
（1）（柯西均方收敛准则）均方极限 \operatorname*{l.i.m.}{m \to \infty} X_m 存在的充要条件为\operatorname*{l.i.m.}{n \to \infty\m \to \infty} (X_n-X_m)=0或 \operatorname*{lim}{n \to \infty\m \to \infty} |X_n-X_m|=0
证明：教材P82页。
定义法可以用来求解，而该定理一般拿来判断。学会如何使用它来求证一个随机序列均方收敛。做法为：构造 |X_m-X_n|^{2=E[|X_m-X_n|}2] ，然后判断其极限 \lim_{m,n \to \infty} 是否为0。注意：（1）对于有“嵌套结构”的情况，处理方法还是如同之前所说的那样。
（参见教材P83页例题3.2.2；第5次作业的第2、3题 ）
（2）（洛易夫准则）均方极限\operatorname*{l.i.m.}{m \to \infty} X_m 存在的充要条件为\operatorname*{l.i.m.}{m \to \infty\n \to \infty} E(X_nX_m)=c。
证明：教材P84页
这两个定理其实是等价的，区别在于前者是正向证明，即直接证明它收敛；而后者是反例证明，找到2条路径，它们的极限不相等，则可以说明不满足均方收敛
6.1.2.4 随机过程的均方极限
类似地我们可以得到定义：设二阶矩随机过程 {X(t),t \in T} 和随机变量 X ，如果 \lim_{t \to t_0}E[|X(t)-X|^2]=0 ，则称 t \to t_0 时， X(t) 均方收敛于 X ，称 X 为随机过程{X(t),t \in T} 和在 t \to t_0 时的均方极限，记为\operatorname*{l.i.m.}{t \to t_0} X(t)=X。
对于随机过程的均方极限，我们有如下性质：
（1）具有类似于2.2.2中（3）～（7）的数字特征性质。
（2）具有类似于2.2.2中（2）的线性性质。
定理：满足类似于2.2.3中的收敛准则。
6.1.3 均方连续
6.1.3.1 定义
给定二阶矩过程 {X(t),t \in T} ,如果对某一固定的 t_0 \in T ，有\operatorname*{l.i.m.}{t \to t_0} X(t)=X(t_0)成立，称 X(t) 在 t_0 均方连续，若 {X(t)} 对每一 t\in T 都均方连续，则称随机过程{X(t),t \in T} 在 T 上均方连续。
思考：泊松过程、平稳独立增量过程都是均方连续的随机过程
6.1.3.2 定理
（1）二阶矩过程{X(t),t \in T}均方连续的充要条件是其自相关函数 R(s,t)在 (t_0,t_0) 处连续。
证明：教材P88页。注意：此准则表明均方连续与二元函数R(s,t) 的连续性等价，这就可以使均方微积分的理论同普通微积分理论那样建立起来
（2）二阶矩过程{X(t),t \in T}均方连续的充要条件是其自相关函数 R(s,t)在对角线上连续。也可以表述为：若二阶矩过程{X(t),t \in T}的自相关函数 R(s,t)在对角线上连续，则相关函数在 T \times T 上连续。
证明：教材P88-89页
（3）若二阶矩过程{X(t),t \in T}均方连续，则其均值函数、方差函数也在 T 上连续。
6.1.4 均方导数
6.1.4.1 定义
（1）给定二阶矩过程 {X(t),t\in T} ，在 t_0 \in T ，均方极限\operatorname*{l.i.m.}{h \to 0} \frac{X(t_0+h)-X(t_0)}{h}存在，称 X(t) 在 t_0 均方可微。此极限称为 X(t) 在 t_0 处的均方导数，记为 X’(t_0) 或 \frac{d X(t)}{dt}|{t_0} 。若{X(t),t\in T}在 T 中每一点 t \in T 处都均方可微，则称随机过程 {X(t),t \in T} 均方可微，记为X’(t) ，称之为导过程。
（2）称二元函数 f(s,t) 在 (s,t) 处广义二阶可微，若极限 \lim_{\Delta s\to 0\\Delta t\to 0}\frac{f(s+\Delta s,t+\Delta t)-f(s+\Delta s,t)-f(s,t+\Delta t)+f(s,t)}{\Delta t \Delta s} 存在，称此极限为 f(s,t) 在 (s,t) 处的广义二阶导数。
6.1.4.2 性质
（1）

证明：教材P94页
（2）

证明：教材P95页
6.1.4.3 定理
（均方可微准则）实二阶矩过程 {X(t),t \in T} 在 t_0 \in T 处均方可微的充要条件是其相关函数 R(s,t) 在 (t_0,t_0) 上广义二阶矩可微。
证明：教材P92页
6.1.5 均方积分
6.1.5.1 定义
给定随机过程 {X(t),a\leq t\leq b} ，任意插入 n-1 个分点 a=t_0{1\leq k\leq n}(t_k-t{k-1}) 。若均方极限 \operatorname*{l.i.m}{\Delta \to 0} \sum{k=1}^nX(u_k)(t_k-t_{k-1}) 存在，且极限与区间的分法、 u_k 的取值无关，称此极限为 X(t) 在 [a,b] 的黎曼均方积分，简称均方积分，记为： \int_a^b X(t) dt 。
6.1.5.2 性质
（1）

（2）

证明：教材P99页
（3）

证明：教材P99-100页
（4）

证明：教材P100页
（5）（牛顿-莱布尼茨公式）设 X’(t) 在 [a,b] 上均方连续，则 \int_a^tX’(t)ds=X(t)-X(a),a \leq t \leq b 。
证明：教材P100页
6.1.5.3 定理
（均方可积准则） {X(t),a \leq t \leq b} 在 [a,b] 上均方可积的充要条件是存在二重积分 \int_a^b \int_a^bR_X(s,t)dsdt 。
证明：教材P97页
至此，我们应该会判断一个二阶矩随机过程是否“均方连续”、“均方可积”和“均方可导”。方法就是直接利用上面介绍的“均方连续定理”、“均方可积准则“和”均方可导准则“。关键在于找到该二阶矩过程的自相关函数（或协方差函数）。
注意：（1）如果能够证明随机变量序列在范围内均方连续，则可以由定理得到它在此范围内仍均方可积，就不要再去算二重积分了！（2）判断均方可导的过程中，一定要算到分子分母不可约，在此之前不要轻易把 \Delta t 和 \Delta s 等于0带进去，如果\Delta t 和 \Delta s最后还保留着，则可以令\Delta t 和 \Delta s 等于0看看是否极限存在
（参见第5次作业的第5、6题 ）
6.1.6 正态过程的均方微积分
6.1.6.1 定理
（1）正态随机变量序列的均方极限为正态随机变量。
证明：教材P102页
（2）正态随机过程的导过程和积过程均为正态过程。
证明：教材P103页

参考资料
【1】《随机过程及应用》（徐全智，高等教育出版社，2013）
【2】老师的授课PPT