概率论基本概念介绍

1. 随机试验

---

具有以下特征的试验，被称作随机试验

1. 可以在相同条件下重复地进行
2. 每次试验的可能结果不止一个，并且能实现明确试验的所有可能结果；
3. 进行一次试验之前不能确定哪一个结果会出现

2. 样本空间

---

• 随机试验$E$的所有可能结果组成的集合称为$E$的样本空间，记做$S$

• 样本空间的元素，即$E$的每个结果，称为样本点

3. 随机事件

---

• 试验$E$的样本空间$S$的子集为$E$的随机事件，简称事件
• 在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生
• 由一个样本点组成的单点集，称为基本事件
• 样本空间$S$包含所有的样本点，称为必然事件
• 空集$\varnothing$不包含任何样本点，在每次试验中都不发生，称为不可能事件

4. 事件间的关系和事件的运算

---

4.1 事件关系

1. 子事件: $A\subset B$ , 表示$A$发生，则$B$必发生
2. 相等事件: $A\subset B$ 且 $B\subset A$ => $A=B$
3. 和事件： $A\cup B=\{x|x\in Aorx\in B\}$ $A$与$B$至少一个发生
4. 积事件： $A\cap B=\{x|x\in Aandx\in B\}$ $A$与$B$同时发生
5. 差事件：$A-B=\{x|x\in Aandx\notin B\}$ $A$发生 、$B$不发生
6. 互斥事件： $A\cap B=\varnothing$
7. 逆事件/对立事件： $A\cup B=SandA\cap B=\varnothing$ $A$和$B$只有一个发生
   $A$的逆事件记做 $\overline{A}=S-\overline{B}$

4.2 事件运算

1. 交换律 $A\cup B=B\cup A$ ; $A\cap B=B\cap A$

2. 结合律 $(A\cup B)\cup C=A\cup (B\cup C)$; $(A\cap B)\cap C=A\cap (B\cap C)$

3. 分配律 $(A\cup B)\cap C=(A\cap C)\cup (B\cap C)$;$(A\cap B)\cup C=(A\cup C)\cap (B\cup C)$

4. 德摩根律 $\overline{A\cup B}=\overline{A}\cap \overline{B}$ ;

   ​ $\overline{A\cap B}=\overline{A}\cup \overline{B}$

5. 频率与概率

---

5.1 频率

• 在相同的条件下，进行了$n$次试验，在这$n$次试验中，事件$A$发生的次数$n_A$称为事件$A$发生的频数 ，比值$n_A/n$叫做事件$A$发生的频率，记做$f_n(A)$

5.2 概率

• 设$E$是随机试验，$S$是它的样本空间，对于$E$的每一个事件$A$赋予一个实数，记做$P(A)$ ,称为事件$A$的概率。概率函数具有以下性质

  1. 非负性 ： 对于每一个事件$A$ ，有$P(A)>=0$

  2. 规范性： 对于必然事件，有$P(S)=1$

  3. 可列可加性： 设$A_1,A_2,A_3,\cdots$ 是两两互不相容的事件，即$A_i{A}_j=\varnothing ,i\ne j,i,j=1,2,3,\cdots$ ，有

     $$P(A_1\cup A_2\cup A_3\cdots )=P(A_1)+P(A_2)+P(A_3)+\cdots$$

• 性质

  1. $P(\varnothing )=0$
  2. 有限可加性 若$A_1,A_2,A_3,\cdots ,A_n$ 是两两互不相容的事件,则有 $$P(A_1\cup A_2\cup A_3\cdots \cup A_n)=P(A_1)+P(A_2)+P(A_3)+\cdots +P(A_n)$$
  3. 设$A,B$是两个事件，若$A\subset B$ 则 有$P(B-A)=P(B)-P(A);P(B)\ge P(A)$
  4. 对于任意事件$A$，$P(A)\le 1$
  5. 逆事件的概率 对于任意事件$A$，$P(\overline{A})=1-P(A)$
  6. 加法公式 对于任意的两事件$A,B$有 $$P(A\cup B)=P(A)+P(B)-P(AB)$$
     $1^o.$ 该性质可推广至多个事件，如$A_1,A_2,A_3$为任意三个事件，则$$P(A_1\cup A_2\cup A_3)=P(A_1)+P(A_2)+P(A_3)-P(A_1{A}_2)-P(A_1{A}_3)-P(A_2{A}_3)+P(A_1{A}_2{A}_3)$$
     $2^o.$ 一般，对于任意$n$个事件，$A_1,A_2,A_3,\cdots ,A_n$ ，可以用归纳法证得
     $$P(A_1\cup A_2\cdots \cup A_n)=\sum _{i=1}^{n}P(A_i)-\sum _{1\le i<j\le n}{A}_i{A}_j+\sum _{1\le i<j<k\le n}P(A_i{A}_j{A}_k)+\cdots +(-1{)}^{n-1}P(A_1{A}_2\cdots A_n)$$

6. 古典概率模型

• 1）试验的样本空间只包含有限个元素 2）试验中每个基本事件发生的可能性相同，具有这两个特点的试验，叫做等可能概型，是概率论发展初期的主要研究对象因此又叫做古典概型

  $$P(A)=\sum _{j=1}^{k}P(\{{e_i}_j\})=\frac{k}{n}=\frac{A包含的基本事件数}{S中基本事件的总数}$$

7. 条件概率

• 对于一般古典概型，设试验的基本事件总数为$n$,$A$中所包含的基本事件数为$m(m>0)$,$AB$所包含的基本事件数为$k$，则有$$P(B|A)=\frac{k}{m}=\frac{k/n}{m/n}=\frac{P(AB)}{P(A)}$$.

• 定义 设$A,B$是两个事件，且$P(A)>0$,称$$P(B|A)=\frac{P(AB)}{P(A)}$$ 为在事件$A$发生的条件下事件$B$发生的条件概率，具有以下性质：

  1. 非负性: 对于每一事件$B$，有$P(B|A)\ge 0$
  2. 规范性：对于必然事件$S$，有$P(S|A)=1$
  3. 可列可加性： 设$B_1,B_2,\cdots$ 是两两互不相容的事件，则有$$P(\bigcup _{i=1}^{\infty }|A)=\sum _{i=1}^{\infty }P(B_i|A)$$

     对于任意事件$B_1,B_2$ ，有 $$P(B_1\cup B_2|A)=P(B_1|A)+P(B_2|A)-P(B_1{B}_2|A)$$.

• 乘法定理

  由条件概率的定义，设$P(A)>0$，则有$$P(AB)=P(B|A)P(A)$$，该式称为乘法公式

  • 一般，设$A_1,A_2,A_3,\cdots ,A_n$为n个事件，$n\ge 2$，且$P(A_1{A}_2{A}_3\cdots A_{n-1})>0$，则有

    $$P(A_1{A}_2{A}_3\cdots A_n)=P(A_n|A_1{A}_2{A}_3\cdots A_{n-1})P(A_{n-1}|A_1{A}_2{A}_3\cdots A_{n-2})\cdots P(A_2|A_1)P(A_1)\text{\hspace{1em}(1)}$$

    式（1）在理解的时候，可以尝试从等号右边式子的最右侧开始分析，如$P(A_2|A_1)P(A_1)=P(A_1{A}_2)$, 式（1）的倒数第三项为$P(A_3|A_{1}A2)$,则 $P(A_3|A_{1}A2)P(A_2|A_1)P(A_1)=P(A_3|A_{1}A2)P(A_1{A}_2)=P(A_1{A}_2{A}_3)$,以此类推，可归纳出式（1）

• 全概率公式

  • 划分定义，设$S$为试验$E$的样本空间，$B_1,B_2,\cdots B_n$为$E$的一组事件，若

    1. $B_i{B}_j=\varnothing ,i\ne j,i,j=1,2,\cdots ,n;$
    2. $B_1\cup B_2\cup \cdots \cup B_n=S$,

    则称$B_1,B_2,\cdots B_n$为样本空间$S$的一个划分(完备事件组)

  • 定理 设试验$E$的样本空间为$S$，$A$为$E$的时事件，$B_1,B_2,\cdots B_n$为$S$的一个划分，且$P(B_i)>0(i=1,2,\cdots ,n)$，则$$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\cdots +P(A|B_n)P(B_n)$$ 该式被称为全概率公式

  • 定理 设试验$E$的样本空间为$S$，$A$为$E$的时事件，$B_1,B_2,\cdots B_n$为$S$的一个划分，且$P(A)>0,P(B)>0(i=1,2,\cdots ,n)$，则$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum _{j=1}^{n}P(A|B_j)P(B_j)}i=1,2,\cdots ,n.\text{\hspace{1em}(2)}$$

    该式称为贝叶斯(Bayes)公式

  • 根据以往经验和分析得到的概率，叫做先验概率,如式(2)中的$P(B_i)$

  • 一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率

  参照式2 可以简单理解为

  $A$: 事件的结果(观测数据)

  $B$: 事件的影响因素

  $P(B|A)$ : 后验概率

  $P(B)$ : 先验概率

8. 独立性

• 设$A,B$两个事件，如果满足等式 $P(AB)=P(A)P(B)$ 则称事件$A,B$相互独立，简称$A,B$独立

• 定理1 设$A,B$两个事件，且$P(A)>0$ ，若$A,B$相互独立，则$P(B|A)=P(B)$ 反之亦然。

• 定理2 若$A$与$B$相互独立，则下列各队事件也相互独立：

  • $A$ 与 $\overline{B}$ , $B$ 与 $\overline{A}$ ,$\overline{A}与\overline{B}$

• 设$A,B,C$三个事件，如果满足等式

  $$\begin{array}{l}P(AB)=P(A)P(B)，\\ P(BC)=P(B)P(C)，\\ P(AC)=P(A)P(C)，\\ P(ABC)=P(A)P(B)P(C)\end{array}\}$$
  则称事件$A，B，C$相互独立,该定义有以下推论

  • 若事件$A_1,A_2,\cdots ,A_n(n\ge 2)$ 相互独立，则其中任意$k(2\le k\le n)$ 个事件也是相互独立的
  • 若$n$个事件$A_1,A_2,\cdots ,A_n(n\ge 2)$ 相互独立，则将 $A_1,A_2,\cdots ,A_n(n\ge 2)$ 中任意多个事件换成他们各自的对立事件，所得的$n$个事件仍相互独立

• 若$n$个事件$A_1,A_2,\cdots ,A_n(n\ge 2)$ 相互独立，有$$P(\bigcap _{i=1}^n{A}_i)=\prod _{i=1}^{n}P(A_i);P(\bigcup _{i=1}^n{A}_i)=1-\prod _{i=1}^{n}P(\overline{A_i})=1-\prod _{i=1}^n(1-P(A_i))$$