《概率统计与随机过程》——笔记1

第一章 随机事件的概率

1.1 随机事件与样本空间

1.1.1 随机试验与随机事件

试验：各式各样的科学实验或对某一事物的某种特性的观察。
随机试验：如果在相同的条件下可以重复进行，而且每次试验的结果事前不可预言，简称试验。
随机事件（事件）：在试验中可能发生，也可能不发生的事件。
基本事件（样本点）：试验中的每一个可能结果都是一个最简单的随机事件。
必然事件：在试验中必然会发生的事件。
不可能事件：在实验中不可能发生的事件。

1.1.2 样本空间

定义 1 试验E的全部基本事件组成的集合，称为试验E的样本空间，记为S。
试验E的基本事件是E的样本空间中的元素。基本事件又称为样本点。
——用集合论的有关知识来讨论事件间的关系和运算。

1.1.3 随机事件的关系与运算

若事件A发生必然导致事件B发生，则称事件A含于事件B，或称事件B包含事件A，记为 A⊂B 或 B⊃A 。
事件A与B至少有一个发生，称为A与B之和，记为 A+B 或 A∪B
事件A与B同时发生，这一事件称为A与B之积，记为 AB 或 A∩B
若事件A与B不能同时发生，即 AB=∅ ，则称事件A与B互不相容或称A与B互斥。
特别的，若 AB=∅ 且 A+B=S ，则称两个事件A与B呼你，或称A与B对立。
事件A发生而B不发生，这一事件称为A与B之差，记为 A−B
重要公式： A−B=A−AB=AB¯¯¯
事件之间的运算，满足以下规则：

1. 交换律 A+B=B+A,AB=BA
2. 结合律 (A+B)+C=A+(B+C),(AB)C=A(BC)
3. 分配路 (A+B)C=AC+BC,(AB)+C=(A+C)(B+C)
4. 德摩根公式 对于有限个或克烈无穷多个事件 Ai ，恒有
   
   ∑iAi¯¯¯¯¯¯¯¯¯=∏iA¯¯¯i,∏iAi¯¯¯¯¯¯¯¯=∑iA¯¯¯i

1.2 概率的定义及性质

P(A) 称为事件A的概率，是事件A发生可能性的度量。

1.2.1 概率的古典定义

古典型随机试验（古典概型）：样本空间只包含有限个基本事件，且每个基本事件发生的可能性相等。
定义 2 设试验E的样本空间 S={e1,e2,...,en} ，且 P(e1)=P(e2)=...=P(en) ,E中事件A包含k个基本事件，则称 P(A)=kn 为事件A的概率。

1.2.2 概率的几何定义

定义 3设几何概型的样本空间为S，A是含于S内的任意随机事件，即 A⊂S ，则称

P(A)=L(A)L(S)

为事件A的概率。其中，L(A)是事件A的度量，L(S)是样本空间的度量，即事件A的概率等于事件A的几何度量与样本空间S的几何度量的比值。这样的概率称为几何概率。
——具有完全可加性（或称可列可加性）。

1.2.3 概率的统计定义

定义 4 设某试验重复做了n次，事件A共发生了 nA 次，则称比值 nAn 为n次试验中事件A发生的频率，记作 fn(A) ，即

fn(A)=nAn

定义 5 若随着试验次数的增大，事件A发生的频率 fn(A) 在某个常熟 p(0≤p≤1) 附近摆动，并且逐渐稳定于p，则称该常数p为事件A的概率，即 P(A)=p ，并把这样定义的概率称为统计概率（经验概率）。

1.2.4 概率的公理化定义

定义 6 设P(A)是定义在试验E的全体事件（包括 ∅ 和S）所组成的集合 F 上的一个实值函数。若P(A)满足下列三个性质：
1. 对每一 A∈F ， 0≤P(A)≤1
2. P(S)=1
3. 对互不相容的 Ai∈F,i=1,2,3,...

P(∑i=1∞Ai)=∑i=1∞P(Ai)

则称P(A)为事件A的概率。
性质如下：
4. 不可能事件的概率为0，即 P(∅)=0
5. 概率具有有限可加性，即若 A1,A2,...,An 互不相容，则

P(∑i=1n)Ai=∑i=1nP(Ai)

6. 对任意事件A,有

P(A¯¯¯)=1−P(A)

7. 若 B⊂A ，则 P(A−B)=P(A)−P(B) ，且

P(B)≤P(A)

8. 对任意事件A,B有

P(A+B)=P(A)+P(B)−P(AB)

1.3 条件概率与乘法公式

1.3.1 条件概率的概念

定义 7设A,B为试验E的两个事件，且 P(B)>0 ，则称

P(A|B)=P(AB)P(B)

为在事件B发生的条件下，事件A发生的条件概率。

1.3.2 乘法公式

由条件概率的定义得

P(AB)=P(B)P(A|B)(P(B)>0)

P(AB)=P(A)P(B|A)(P(A)>0)

1.4 全概率公式与贝叶斯公式

1.4.1 全概率公式

定理 1设事件组 B1,B2,...,Bn 满足：（1） ∑ni=1Bi=S ；（2） B1,B2,...,Bn 互不相容；（3） P(Bi)>0,i=1,2,...,n ，则对任意事件A，恒有

P(A)=∑i=1nP(Bi)P(A|Bi)

，该式称为全概率公式。

1.4.2 贝叶斯公式

定理 2设事件组 B1,B2,...,Bn 满足： (1)∑ni=1Bi=S;(2)B1,B2,...,Bn互不相容;(3)P(Bi)>0,i=1,2,...,n, 则对任意事件 A(P(A)>0) ,有

P(Bi|A)=P(Bi)P(A|Bi)∑nj=1P(Bj)P(A|Bj,i=1,2,...,n

该式被称为贝叶斯公式。

1.5 事件的独立性（较难理解）

定义 8 对任意两个事件A和B，若

P(AB)=P(A)P(B)

则称A和B相互独立，简称独立。
定理 3 对任意事件A,B,且 P(B)>0 ，则A与B独立的充分必要条件是

P(A|B)=P(A)

定理 4 若事件A与B独立，则下列每对事件： A¯¯¯ 与 B , A 与 B¯¯¯ , A¯¯¯ 与 B¯¯¯ 也相互独立。
定义 9 若事件 A1,A2,...,An 满足条件：

P(AiAj)$=P(Ai)P(Aj),1≤i<j≤n

则称n个事件 A1,A2,...,An 是两两独立的。
若对任意整数 k(2≤k≤n) 和 1≤i1<i2<...<ik≤n ,恒有 P(Ai1Ai2...Aik=P(Ai1)P(Ai2)...P(Aik) ,则称n个事件 A1,A2,...,An 相互独立。
对于克烈无穷多个事件 A1,A2,...,An,... ,若其中任意有限多个时间都相互独立，则称 A1,A2,...,An,... 相互独立。
注：两两独立不一定相互独立，但相互对立一定两两独立。
定理 5 若事件 A1,A2,...,An 相互独立，则事件 B1,B2,...,Bn 也相互独立。其中 Bi 为 Ai或Ai¯¯¯¯,i=1,2,...,n

实际中，事件的独立性常常根据经验来判断。一般地，若n个事件 A1,A2,...,An 中的每一个事件发生的概率都不受其他事件发生与否的影响，那么就可以认为这n个事件是相互独立的。