概率论与数理统计 笔记（Update: 2021/9/20）

概率论是一门研究可能性的学科。概率论最大的作用在于，帮助人类从宏观上认识复杂事物中的客观规律，并且利用这种规律来指导人类社会的生产、决策、行为。因此，概率论在大学课程的重要性便由此凸显。

概率论是一门建立在严谨逻辑基础上的一门学科，因此，它不同于以往初高中对概率的定性认识。概率论最重要的逻辑基础是概率论的公理化定义，通过引出一系列基本定义，从而推导出概率论整个的学科图景，这是概率论的精髓。

下面引出概率论的公理化定义

概率论的公理化定义

1. 相关基本概念：

我们首先定义以下概念：

• 随机实验：对于一个随机现象的观察或者试验，如果满足三个条件（相同条件下可重复、结果预知、结果不确定性），则称该试验为「随机试验」。记为。
• 样本点与样本空间：样本点即试验的每一个结果，样本空间即为所有样本点构成的集合。样本点是集合的元素，而样本空间是集合。
• 随机事件：在一个随机试验中可能发生或者可能不发生的事件。可以理解为样本空间的子集。（空集也是一种子集，即对应为不可能事件）
• 基本事件：由一个样本点所对应的事件成为「基本事件」。

至此，我们将试验、事件等概念与集合的概念相联系，显然，我们会有以下的运算性质：

2. 事件之间的关系以及运算（本质为集合运算）

• 包含：若事件A发生，则事件B必然发生。记作。
• 相等：若且，则为相等。记作。
• 并: 。
• 交: ，或者记作（AB的积）。
• 补: 又称对立（complementary）事件，或者逆事件。记作
• 互不相容：事件A与事件B不能同时发生，即称互不相容。
• 差：记作，表示事件A发生而事件B不发生的事件。

经过简单的推导可以得出以下运算性质：

3. 事件的运算性质

• 交换律
• 结合律
• 分配律 ,
• 对偶律

经过以上铺垫，我们可以引出频率、概率的定义：

4. 频率 (frequency)

定义：设随机事件A在n次重复试验中发生了m次，则称比值

为事件A在n次重复试验中发生的「频率」。

频率越大，事件A发生就越频繁，可以用频率来预测事件A的发生的可能性大小。
当重复试验次数越多，n越大时，频率越逐渐趋于稳定于某个常数。

5. 概率的公理化定义（前苏联 柯尔莫哥洛夫 首次提出）

设是随机试验的样本空间，对于每个事件，赋予一个实数，记为，称为事件A的「概率」，如果集合函数满足一下三个条件：

• 非负性，任意事件A都有
• 规范性，
• 可列可加性，两两互不相容的（无限个）事件，都有
  

理解：概率的本质一种映射，是一种将每个事件映射给一个实数的映射。并且满足以上三个性质。
另外，注意一个常记的技巧：

由以上概率的公理化定义推导出的性质:

1. 不可能事件的概率为0
2. 有限可加性
3. 逆事件有
4. 减法公式
5. 单调性
6. 容斥原理 ，可推广至多个事件

---

古典概型与几何概型

古典概型是概率论的经典研究内容。

古典概型是指，如果一个随机试验，其中包含有限个样本点，并且所有样本点的概率都相等，那么我们就称该随机试验为古典概型。而几何概型与以上定义基本相同，只不过包含了无限个样本点（对于几何图形来说，一块区域也包含了无穷个点）

我们很容易就能够得到古典概型的计算公式（由可列可加性）

关于古典概型的具体例题与技巧在此不再赘述。
如何定性认识古典概型的概率？我们可以认为，这种概率代表了一个试验中事件发生的可能性，可以认为是“ 进行无穷次试验之后事件发生频率的趋近值 ”。利用这种可能性，我们可以最优化实际的决策。

---

条件概率与乘法公式

条件概率的引入，是为了解决在某事件已经发生（或者指定某条件）的情况下具体事件的概率。显然地，计算条件概率，可以认为是缩小了样本空间后的概率计算。为了满足某指定条件，我们需要排除掉不符合条件的样本点，之后再根据符合条件的样本点，再在条件事件下的样本集合进行古典概型的计算。这一过程，实质上就是条件概率的本质。但是我们为了方便，则利用了结论进行定义。注意：这只是为了方便。

我们定义条件概率，就是指在样本空间中的事件,，则就是事件A在事件B条件下的「条件概率」。在该定义下，要求了条件的概率不为0。

条件概率是一种「概率」吗？答案是肯定的，因为显然，条件概率满足了概率的三条基本公理，即非负性、规范性、可加性。因此条件概率也是一种概率，概率的所有性质都适用于条件概率。

由条件概率公式可以直接得到乘法公式：若，则有乘法概率可以进行推广到n个乘积的情况。

---

全概率公式

全概率公式是为了解决计算复杂事件概率的一种方法。如果说对于一个事件的计算较为困难，但是如果对于事件B的概率能够分情况讨论（或者说，能够分成不同的子集），那么就可以利用全概率公式进行计算

全概率公式：如果对于事件 ，如果我们有互不相容、但是其总和为总样本空间的一系列事件，那么就可以利用这种方式计算事件的概率：

全概率公式的精髓就在于：分情况讨论，建立某种因果关系，从而简化分解问题。

什么是建立因果关系，这关系到具体问题的语境问题。例如产品的次品率问题，抽取的某产品是否为次品，与不同工厂有关，这就属于一种因果关系。实际上该问题的基本事件是什么？是 [ 工厂种类，是否为次品 ] 的二元对。概率论是没有事件之间的因果概念的，但是我们只是利用语境建立事件的因果关系，从而更好地对“果事件”进行分情况讨论。

贝叶斯公式

对于一个随机试验，若有事件，并且满足事件概率大于0， 并且事件是样本空间的一个分割，那么就有观察贝叶斯公式，我们可以发现它就是全概率公式与条件概率的推导结论而已。