概率论与数理统计学习笔记之——概率论的基本概念

概率论的基本概念

1、随机试验

随机试验具有以下特点：

1. 可以在相同的条件下重复地进行；
2. 每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果；
3. 进行一次试验之前不能确定哪一个结果会出现。

---

2、样本空间、随机事件

2.1、样本空间

我们将随机试验 E 的所有可能结果组成的集合成为 E 的样本空间，记为 S。样本空间的元素，即 E 的每个结果，称为样本点。

2.2、随机事件

一般，我们称试验 E 的样本空间 S 的子集为 E 的随机事件，简称事件。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生。

特别，由一个样本点组成的单点集，称为基本事件。

样本空间 S 包含所有的样本点，它是 S 自身的子集，在每次试验中它总是发生的，S 称为必然事件。空集 ∅ 不包含任何样本点，它也作为样本空间的子集，它在每次试验中都不发生，∅ 称为不可能事件。

2.3、事件间的关系与事件的运算

设试验 E 的样本空间为 S，而 A，B，Ak（k = 1,2，…）是 S 的子集。

1. 若 A ⊂ B，则称事件 B 包含事件 A，这指的是事件 A 发生必导致事件 B 发生。

   若 A ⊂ B 且 B ⊂ A，即 A = B，则称事件 A 与事件 B 相等。

2. 事件 A ∪ B = {x | x ∈ A 或 x ∈ B} 称为事件 A 与事件 B 的和事件。当且仅当 A,B 中至少有一个发生时，事件 A ∪ B 发生。

3. 事件 A ∩ B = {x | x ∈ A 且 x ∈ B} 称为事件 A 与事件 B 的积事件。当且仅当 A,B 同时发生时，事件 A ∩ B 发生。 A ∩ B 记作 AB。

4. 事件 A - B = {x | x ∈ A 且 x ∉ B} 称为事件 A 与事件 B 的差事件。当且仅当 A 发生、B 不发生时事件 A - B 发生。

5. 若 A ∩ B = ∅，则称事件 A 与 B 是互不相容的，或互斥的。这指的是事件 A 与事件 B 不能同时发生。基本事件是两两互不相容的。

6. 若 A ∪ B = S 且 A ∩ B = ∅，则称事件 A 与事件 B 互为逆事件。又称事件 A 与事件 B 互为对立事件。这指的是对每次试验而言，事件 A 、B 中必有一个发生，且仅有一个发生。A 的对立事件记为 A ̅ 。 A ̅ = S - A。

在进行事件运算时，经常要用到下述定律。设 A,B,C 为事件，则有：

• 交换律：A ∪ B = B ∪ A；A ∩ B = B ∩ A。

• 结合律：A ∪ (B ∪ C) = (A ∪ B) ∪ C；

  ​ A ∩ (B ∩ C) = (A ∩ B) ∩ C。

• 分配律：A ∪ (B ∩ C) = (A ∪ B) ∩ (A ∪ C)；

  ​ A ∩ (B ∪ C) = (A ∩ B) ∪ (A ∩ C)。

• 德摩定律：
  $$\overline{A\cup B}=\bar{A}\cap \bar{B}$$

  $$\overline{A\cap B}=\bar{A}\cup \bar{B}$$

---

3、频率与概率

3.1、频率

定义 在相同的条件下，进行了 n 次试验，在这 n 次试验中，事件 A 发生的次数 nA 称为事件 A 发生的频数。比值 nA / n 称为事件 A 发生的频率，并记为 fn(A)。

3.2、概率

定义 设 E 是随机试验，S 是它的样本空间。对于 E 的每一事件 A 赋予一个实数，记为 P(A)，称为事件 A 的概率，如果集合函数 P(·) 满足下列条件：

1. 非负性：对于每一个事件 A，有 P(A) ≥ 0；

2. 规范性：对于必然事件 S，有 P(S) = 1；

3. 可列可加性：设 A1,A2,… 是两两互不相容的事件，即对于 AiAj = ∅，i ≠ j，i,j = 1,2,… 有

   P(A1 ∪ A2 ∪ …) = P(A1) + P(A2) +…

性质：

1. P(∅) = 0；
2. （有限可加性）若 A1,A2,…,An 是两两互不相容的事件，则有 P(A1 ∪ A2 ∪ … ∪ An) = P(A1) + P(A2) + … + P(An)；
3. 设 A,B 是两个事件，若 A ⊂ B，则有：P(B - A) = P(B) - P(A)；
4. 对于任一事件 A，P(A) ≤ 1。
5. （逆事件的概率）对于任一事件 A，有：P(A ̅ ) = 1 - P(A)；
6. （加法公式）对于任意两事件 A，B 有：P(A ∪ B) = P(A) + P(B) - P(AB)。

---

4、等可能概型（古典概型）

古典概型（等可能概型）的特点：

1. 试验的样本空间只包含有限个元素；
2. 试验中每个基本事件发生的可能性相同。

下面我们来讨论等可能概型中事件概率的计算公式：

设试验的样本空间为 S = {e1,e2,…,en}。由于在试验中每个基本事件发生的可能性相同，即有：
$$P(\{e_1\})=P\left(\left\{e_2\right\}\right)=\cdots =P\left(\left\{e_n\right\}\right)$$
又由于基本事件是两两互不相容的。于是：
$$\begin{array}{rl}1& =P(S)=P\left(\left\{e_1\right\}U\left\{e_2\right\}U\cdots U\left\{e_n\right\}\right)\\ & =P\left(\left\{e_1\right\}\right)+P\left(\left\{e_2\right\}\right)\\ & +\cdots +P\left(\left\{e_n\right\}\right)=nP(\{e_i\})\end{array}$$

$$P\left(\left\{e_i\right\}\right)=\frac{1}{n},i=1,2,\cdots ,n$$

若事件 A 包含 k 个基本事件，即：
$$A=\left\{e_{i_1}\right\}U\left\{e_{i_2}\right\}U\cdots U\cdot \left\{e_{i_k}\right\}$$
则有：
$$P(A)=\sum _{j=1}^{k}P\left(\left\{e_{i_j}\right\}\right)=\frac{k}{n}=\frac{A包含的基本事件数}{S中基本事件的总数}$$

---

5、条件概率

5.1、条件概率

定义 设 A,B 是两个事件，且 P(·|A) > 0，称
$$P(B|A)=\frac{P(AB)}{P(A)}$$

为在事件 A 发生的条件下事件 B 发生的条件概率。

不难验证，条件概率 P(·|A) 符合概率定义中的三个条件，即：

1. 非负性
2. 规范性
3. 可列可加性

5.2、乘法定理

乘法定理 设 P(A) > 0，则有：
$$P(AB)=P(B|A)P(A)$$

5.3、全概率公式和贝叶斯公式

定义 设 S 为试验 E 的样本空间，B₁,B₂,…,B_n 为 E 的一组事件。若：

1. B_iB_j = ∅，i ≠ j，i,j = 1,2,…,n
2. B₁ ∪ B₂ ∪ … ∪ B_n = S，

则称 B₁,B₂,…,B_n 是样本空间的一个划分。

若 B₁,B₂,…,B_n 是样本空间的一个划分，那么，对每次试验，事件 B₁,B₂,…,B_n 中必有一个且仅有一个发生。

定理 设试验 E 的样本空间为 S，A 为 E 的事件，B₁,B₂,…,B_n 为 S 的一个划分，且 P(B_i) > 0 (i = 1,2,…,n)，则：

P(A) = P(A|B₁)P(B₁) + P(A|B₂)P(B₂) + … + P(A|B_n)P(B_n)

称为全概率公式。

定理 设试验 E 的样本空间为 S。A 为 E 的事件，B₁,B₂,…,B_n 为 S 的一个划分，且 P(A) > 0，P(B_i) > 0 (i = 1,2,…,n)，则：
$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)},i=1,2,...,n.$$
称为贝叶斯公式。

---

6、独立性

定义 设 A,B 是两事件，如果满足等式
$$P(AB)=P(A)P(B)$$
则称事件 A 和事件 B 相互独立，简称 A,B 独立。

定理一 设 A,B 是两事件，且 P(A) > 0。若 A,B 相互独立，则 P(B|A) = P(B)。反之亦然。

定理二 若事件 A 与 B 相互独立，则下列事件也相互独立：

A 与 B^—，A^— 与 B，B^— 和 A^—。

定义 设 A,B,C 是三个事件，如果满足等式

​ P(AB) = P(A)P(B)

​ P(BC) = P©P(B)

​ P(AC) = P(A)P©

​ P(ABC) = P(A)P(B)P©

则称事件 A,B,C 相互独立。

由此，可以得到以下两个推论：

1. 若事件 A₁,A₂,…,A_n (n ≥ 2) 相互独立，则其中任意 k （2 ≤ k ≤ n）个事件也是相互独立的；
2. 若 n 个事件 A₁,A₂,…,A_n (n ≥ 2) 相互独立，则将 A₁,A₂,…,A_n 中任意多个事件换成它们各自的对立事件，所得的 n 个事件仍然相互独立。