伯努利过程与泊松过程

随机过程中有两类很重要的过程：到达过程和马尔科夫过程；

Ⅰ. 到达过程：到达过程重点研究的是相邻到达时间(即两次到达之间的时间)是相互独立的随机变量模型。IF考虑到达的时间是离散的情形，相邻时间服从几何分布，即伯努利过程；IF考虑到达的时间是连续的情形，相邻时间服从指数分布，即泊松过程。

Ⅱ. 马尔科夫过程：考虑数据在时间点上演化，而且未来数据的演化与历史数据有概率相关结构。比如股票的未来日的价格明显依赖于过去的价格。但是在马尔科夫过程中，我们假设一类特殊的相关：未来的数据只依赖于当前数据，而与过去的数据无关。

1. 伯努利过程

(1). 伯努利过程为一串相互独立的伯努利随机变量序列x1, x2, ...., xn,且对于任意的i，p(xi = 1)  = p(第i次试验成功) = p;  p(xi = 0) = p(第i次试验失败) = p-1;

到达随机过程中，人们常常感兴趣的是在一定时间内总到达次数，或者首次到达的时间。与伯努利过程相关的随机变量及其性质：

①. 一段时间内总到达次数：或者n次相继独立的试验成功的总次数k的分布，服从参数为n和p的二项分布。

②. 首次到达的时间：或者相互独立重复的伯努利试验首次成功的总次数T的分布——服从参数为p的几何分布。

(2). 伯努利过程性质：独立性和无记忆性

①. 重新开始：从任意一个时刻开始，未来也可以用相同的伯努利过程来建模，而且与过去相互独立。即对任意给定的时间n，随机变量序列x(n+1), x(n+2), ... (过程的将来)也是伯努利过程，而且与x1, x2, ..., xn(过程的过去)独立。

②. 对任意给定的时间n，令T是时间n之后首次成功的时间，则随机标量T-n服从参数为p的几何分布，且与随机变量x1, ..., xn独立。

(3). 相邻到达间隔时间

与伯努利过程相关的一个很重要的随机变量是第K次成功(或到达)的时间，记为Y(k). 与之相关的变量是第k次相邻到达的间隔时间，记为T(k)。所谓第k次相邻到达的时间是第k-1到达之后到第k次到达之间所需的总时间，满足：

T1 = Y1,T2 = Y2 - Y1, ...,T(k) = Y(k) - Y(k-1).

①. 首次成功的时间T1服从参数为p的几何分布，在时间T1成功之后，未来是一个新的伯努利过程。利用重新开始的原理，下次成功所需要的实验次数T2与T1有相同的分布(试验次数与成功所需要的时间是等效的). 过去的实验(包括T1)与未来的实验(T1+1开始)是独立的。所以我们得到的随机变量T1, T2, ..., T(k)都是独立的，而且具有相同的几何分布。

②.伯努利过程一个等价的描述方法：

Ⅰ. 开始于一串相互独立的，参数为p的几何分布随机变量序列T1, T2, ..., 它们是相邻到达时间间隔；

Ⅱ. 观测成功(或到达)的时间为T1, T1 + T2, ..., T1 + T2 + ... + T(k) + ... .

(4). 第k次到达的时间

①. 第k次到达的时间等于前k个相邻到达时间之和

Y(k) = T1 + T2 + ... + T(k)

而且T1, ..., T(k)独立同分布，服从参数为p的几何分布。

②. Y(k)的期望，方差分别为

E[Y(k)] = E[T1] + ... + E[T(k)] = k / p; 

Var[Y(k)] = Var[T1] + ... + Var[T(k)] = k*(1-p)/p^2; 

③.Y(k)的分布列是 负二项分布,又称帕斯卡分布.

(可否理解服从几何分布的随机变量之和(新的随机变量)服从帕斯卡分布？)

2. 泊松过程

泊松过程是连续时间轴上的到达过程。通常一个达到过程在应用上无法将连续时间离散化时，就采用泊松过程来刻画。

伯努利过程在一个时间段内不能记清楚到底发生了多少次事故。特别地，它无法计算在给定的时间段内事件发生平均次数。比如，1分钟内发生2次或者多次事故时非常可能的...

考虑连续型的到达过程，即任意的实数t都有可能是到达时刻，定义

p(k, t') = p(在时间段长度为t'的时间内，有k个到达)；

(1). 泊松过程的定义

一个达到过程，被称为强度为λ的泊松过程，如果该过程具有如下性质：

①. (时间同质性) k次到达的概率p(k, t')在相同时间t'的时间内都是一样的②. (独立性) 一个特定的时间段内到达的数目与其它时间段里到达的历史是独立的；

③. (小区间概率) 概率p(k, t') 满足如下关系：

p(0, t') = 1 -λt' + o(t'),

p(1, t') = λt' + o1(t'),

p(k, t') = ok(t'),k = 2,3, ...

可以看出，对于小的t', 到达一次的概率大致是λt', 加上一个微不足道的项；没有到达的概率大致是1 -λt'， 到达两次或者更多次的概率大致与p(1, t')相比是可以忽略的。

(2).泊松过程相关的随机变量及其分布

①. 区间内到达的次数：服从参数为λt'的泊松分布。这是泊松过程的强度为λ， 在时间长度为t'的区间内到达的总次数N(t') = k的分布。 

E[N(t')] = λt',Var[N(t')] =λt'

②. 首次到达的时间T的概率规律：服从参数为λ的指数分布。

E[T] = 1/λ,Var[T] = 1 /λ^2

伯努利过程与泊松过程：(这里的所谓"到达"是指事件的发生)

(3). 泊松过程的独立性质

①. 对任意给定的时间t>0, 时间t之后的过程也是泊松过程，而且与时间t之前(包含t)的历史过程相互独立；

②. 对任意给定的时间t，令T'是时间t之后首次到达的时间，则随机变量T'-t服从参数为λ的指数分布，且与时间t之前(包含t)的历史过程相互独立。

(4). 相邻到达时间

设有一个从0开始的泊松过程，与这个过程相关的重要的随机变量是第k次成功(或到达)的时间，记为Y(k). 与Y(k)密切相关的变量是第k次相邻到达的时间，记为T(k),满足的关系：

T1 = Y1,T2 = Y2 - Y1,...,T(k) = Y(k) - Y(k-1), ...

T1, T2, T3, ...之间相互独立.

泊松过程一个等价的另一种描述方法。

①. 开始于一串相互独立并且公共参数为λ的指数随机变量序列T1, T2, ..., 他们都是相邻到达时间；

②. 过程的到达的时间为T1, T1 + T2, T1 + T2 + T3, ... . 这样形成的随机过程就是泊松过程。

(5). 第k次到达的时间

第k成功的时间Yk等于k个独立同分布且服从指数分布的随机变量之和。即Y(k) = T1 + T2 + ... + T(k)

①. 第k次到达的时间等于前k个相邻到达时间之和，Y(k) = T1 + T2 + ... + T(k)，

而且T1, T2, ..., T(k) IID, 服从参数为λ的指数分布。

②. Y(k)的期望、方差为

E[Y(k)] = E[T1] + ... + E[T(k)] = k / λ

Var[Y(k)] = Var[T1] + ... + Var[T(k)] = k / λ^2

③. Y(k)的分布密度是：埃尔朗分布