随机过程基本概念

翻译自
Kalman R E. A New Approach to Linear Filtering and Prediction Problems[J]. 1960, 82D:35-45.

随机过程基本概念
为了读者的方便，我们在这里复习一些概率和随机过程的基本的定义和规律。我的目的是尽可能简洁的描述。所以想要有更大的深度或者广度，请阅读Laning and Battin或者Doob的书。

一个随机变量是一个函数，它的值依赖于一个随机事件的结果。随机变量的值可以是任意方便的数学量：实数、复数或向量等。为了简单，我们只考虑实值随机变量，实际上是没有这样的约束的。我们用 x,y,... 表示随机变量，它们的值用希腊字母 ξ,η,... 表示。和、积以及随机变量的函数还是随机变量。

一个随机变量x可以用概率的形式准确的表示。用符号表示如下：

Pr(x≤ξ)=Fx(ξ);Fx(−∞)=0,Fx(+∞)=1

Fx(ξ) 叫做随机变量x的概率分布函数。对 Fx(ξ) 关于 ξ 求微分， 叫做随机变量的概率密度函数。
随机变量x的任意非随机函数 g(x) 的期望（数学期望，统计均值，均值）定义为：

Eg(x)=E[g(x)]=∫+∞−∞g(ξ)dFx(ξ)=∫+∞−∞g(ξ)fx(ξ)dξ

往往我们会忽略E后面的中括号。随机变量的序列（有限或者无限）

{x(t)}=...,x(−1),x(0),x(1),...

被叫做离散（或离散参数）随机过程，一个典型的随机过程的观测值序列

...,ξ(−1),ξ(0),ξ(1),...

叫做这个过程的实例（或样本函数）。直观的看，一个随机过程就是将时间概念引入随机变量的随机变量集合。
一个随机过程如果满足下列方程就是 不相关的：

Ex(t)x(s)=Ex(t)Ex(s)(t≠s)

如果进一步，

Ex(t)Ex(s)=0

那么随机过程是正交的。任何不相关的随机过程都可以通过变量代换,将 x(t) 换成 x′(t)=x(t)−Ex(t) 成为正交的随机过程。

Ex′(t)x′(s)=E[x(t)−Ex(t)][x(s)−Ex(s)]=0

还有一个需要记住的有意义的结论是,如果随机过程是 正交的，它满足下列式子

E[x(t1)+x(t2)+...]2=Ex2(t1)+Ex2(t2)+...(t1≠t2≠...)

如果 x 是由元素 x1,...,xn （也是随机变量）组成的向量值随机变量，那么矩阵

[E(xi−Exi)(xj−Exj)]=E(x−Ex)(x′−Ex′)=covx

被叫做x的协方差矩阵。
一个随机过程可以通过陈述有限数量的事件同时发生的概率来准确的描述。

x(t1)≤ξ1,...,x(tn)≤ξn;(t1≠...≠tn),i.e.,Pr[(x(t1)≤ξ1,...,x(tn)≤ξn)]=Fx(t1),...,x(tn)(ξ1,...,ξn)

Fx(t1),...,x(tn)(ξ1,...,ξn) 叫做随机变量 x(t1),...,x(tn) 的联合概率分布函数。那么联合概率密度函数就是（如果下面的导数存在的话）

fx(t1),...,x(tn)(ξ1,...,ξn)=∂nFx(t1),...,x(tn)∂ξ1,...,∂ξn

n个随机变量的任意非随机函数的期望 Eg[x(t1),...,x(tn)] 的定义和上述类似，但是是n次积分。
一个随机过程如果满足下述方程，那么就说这个随机过程是独立的（或者对于连续随机变量，联合概率密度函数等于边缘概率密度函数的乘积，这个可以用来推出不相关）。对于任意有限 t1≠...≠tw

Pr[(x(t1)≤ξ1,...,x(tn)≤ξn)]=Pr[x(t1)≤ξ1]...Pr[x(tn)≤ξn]

如果一个随机变量的集合是独立的，那么很显然它们也是不相关的（两个随机变量不相关就是协方差为0）。这个过程一般来说不可逆。对于一个超过两个随机变量的随机变量集合，说它是独立的，这并不意味着集合中的每一对随机变量是独立的。

往往我们感兴趣的是在已知一个随机过程的n个随机变量 x(t1),...,x(tn) 的值 ξ1,...,ξn 的前提下，随机变量 x(tn+1) 的概率分布。这可以表示为（我认为第二式相对最终式稍微严谨一点）这个式子有待深入理解。

Pr[x(tn+1)≤ξn+1|x(t1)=ξ1,...,x(tn)=ξn]=∫ξn+1−∞fx(t1),...,x(tn+1)(ξ1,...,ξn+1)dξn+1fx(t1),...,x(tn)(ξ1,...,ξn)

这个也叫给定 x(t1),...,x(tn) 条件下x(t_{n+1})的条件概率分布函数。相应的有条件期望：

E{g[x(tn+1)|x(t1),...,x(tn)]}

条件期望是一个关于 x(t1),...,x(tn) 的随机变量，所以有下式：

E[E{g[x(tn+1)|x(t1),...,x(tn)]}]=Eg[x(tn+1)]

在本文中，期望值的积分式一般不用计算，只要期望值的概念就可以了。
如果一个随机变量x满足下面的式子就说它是高斯的（或者正态分布的）。

fx(ξ)=1[2πE(x−Ex)2]1/2exp−(ξ−Ex)22E(x−Ex)2

这就是著名的钟形曲线。类似的一个随机向量是高斯的，如果它满足下列方程

fx(ξ)=1(2pi)n/2(detC)1/2exp[−12(ξ−Ex)′C−1(ξ−Ex)]

其中 C−1 是 x 的协方差矩阵的逆。高斯随机过程的定义也是相似的。
高斯随机变量和高斯随机过程之所以非常重要，主要是因为它有下列性质：
（A）高斯随机过程的一个线性函数（如条件期望）是高斯随机变量。
（B）正交高斯随机变量是独立的。
（C）给定任意随机过程，它的均值是 Ex(t) 协方差是 Ex(t)x(s) ，存在一个唯一的有相同均值和协方差的高斯随机过程。