概率导论（一）——样本空间与概率

参考书：《概率导论》，作者：Dimitri P. Bertsekas，John N. Tsitsiklis。
本系列博客为自学《概率导论》笔记。

思维导图

集合

• 将一些研究对象放在一起，形成集合，这些对象就是集合的元素。
• 设$S$是一个集合，$x$是$S$的元素。
  • $x$是$S$的元素，则写成$x\in S$；
  • $x$不是$S$的元素，则写成$x\notin S$；
  • 若一个集合没有元素，则为空集，写成$\varnothing$
• 若$S$包含有限个元素$x_1,x_2,\cdots ,x_n$，则写成$S=\{x_1,x_2,\cdots ,x_n\}$ .
• 若$S$包含无限个元素$x_1,x_2,\cdots$，则写成$S=\{x_1,x_2,\cdots \}$ .
  • $S$中的这些元素可以排成一列，此时称$S$为可数无限集。
• 也可以 以$x$具有某种性质$P$为条件来刻画一个集合，记作：$\{x|x满足性质P\}$.
  • 像$\{x|0\le x\le 1\}$，是一个连续集合，但它的元素不能排成一列，故称为不可数的集合。
• 若集合$S$中的所有元素均为集合$T$的元素，则称$S$为$T$的子集，记作$S\subset T$或$T\supset S$.
• 若$S\subset T$且$T\subset S$，则两个集合相等，记作：$S=T$。
• 将我们感兴趣的所有元素放在一起，形成一个集合，这个集合称为空间，记作：$\Omega$。
  • 当$\Omega$确定以后，我们所讨论的集合$S$都是$\Omega$的子集。

集合运算

• 集合$\{x\in \Omega |x\notin S\}$称为集合$S$相对于$\Omega$的补集，记作：$S^c$。注意${\Omega }^c=\varnothing$。
• 由属于$S$或属于$T$的元素组成的集合称为$S$和$T$的并，记为：$S\cup T$.$$S\cup T=\{x|x\in S或x\in T\}$$
• 由既属于$S$又属于$T$的元素组成的集合称为$S$和$T$的交，记为：$S\cap T$.$$S\cap T=\{x|x\in S且x\in T\}$$
• 如果每一个正整数$n$都能确定一个集合$S_n$，则：$$\bigcup _{n=1}^{\infty }{S}_n=S_1\cup S_2\cdots =\{x|x\in S_n对某个n成立\},$$$$\bigcap _{n=1}^{\infty }{S}_n=S_1\cap S_2\cdots =\{x|x\in S_n对一切n成立\}.$$
• 如果两个集合的交集是空集，则这两个集合称为不相交的。
• 如果几个集合中，任何两个集合都没有公共元素，则这几个集合称为互不相交的。
• 一组集合，如果这组集合中的集合互不相交，且它们的并为$S$，则这组集合称为集合$S$的分割。
• 设$x$和$y$为两个研究对象，我们用$(x,y)$表示$x$和$y$的有序对。
• 我们用$R$表示实数集合，用$R^2$表示实数对的集合，即二维平面，用$R^3$表示三维实数向量的集合（三维空间）。

集合的代数

• $S\cup T=T\cup S;$
• $S\cup (T\cup U)=(S\cup T)\cup U;$
• $S\cap (T\cup U)=(S\cap T)\cup (S\cap U);$
• $S\cup (T\cap U)=(S\cup T)\cap (S\cup U);$
• $(S^c{)}^c=S;$
• $S\cap S^c=\varnothing ;$
• $S\cup \Omega =\Omega ;$
• $S\cap \Omega =S;$
• 德摩根定律：
  • $({\bigcup }_n{S}_n{)}^c={\bigcap }_n{S}_n^c;$
  • $({\bigcap }_n{S}_n{)}^c={\bigcup }_n{S}_n^c;$

概率模型

概率模型是对不确定现象的数学描述。

• 概率模型的基本构成：
  • 样本空间$\Omega$：这是一个试验的所有可能结果的集合。
  • 概率律：概率律为试验结果的集合$A$（称为事件）确定一个非负数$P(A)$（称为事件$A$的概率）。
    

样本空间和事件

• 样本空间：每一个概率模型都关联着一个试验，这个试验将产生一个试验结果，该试验的所有可能结果形成样本空间，用$\Omega$表示样本空间。
• 事件：样本空间的子集，即某些实验结果的集合，称为事件。

选择适当的样本空间

• 在确定样本空间的时候，不同的试验结果必须是相互排斥的，这样，在试验过程中只可能产生唯一的一个结果。
• 确定模型的时候，不能遗漏其样本空间中的任何一个结果。
• 在建立样本空间的时候，要有足够的细节区分我们感兴趣的事件，同时要避免不必要的烦琐。

序贯模型

许多试验本身具有序贯的特征

例如：连续抛掷一枚硬币，一共抛掷三次，或者连续观察一只股票，共观察5天，又或者在一个通信接受设备上接收8个数字。

常用序贯树形图来刻画样本空间中的试验结果，如下图所示：

序贯树形图示例：
设所考虑的试验连续两次抛掷有4个面的骰子，，其样本空间有两种等价的刻画方法。
在这个试验中，可能的结果是全体有序对$(i,j)$，其中$i$表示第一次抛掷骰子得到的数字，$j$表示第二次抛掷骰子得到的数字。
试验结果可用左图中的2维格子点表示，也可以用右图中的序贯树形图表示，后者的优点是可以表示试验的序贯特征。
在序贯树形图中，每一个可能的试验结果可以用一个末端的树叶表示，或等价的用与树叶相联系的由根部到树叶的一个路径表示。
左图中的阴影部分代表事件$\{(1,4),(2,4),(3,4),(4,4)\}$，它表示第2次抛掷得到4.
同一个事件，可以在右图中用空心圆点标示的叶子集合表示。
序贯树形图中的每一个结点可以代表一个事件，这个事件就是由这个结点出发的所有叶子构成的事件。例如，用1标示的结点代表事件$\{(1,1),(1,2),(1,3),(1,4)\}$，即第1次抛掷得1的事件。

概率律

当我们已经确定了样本空间以及与之联系的试验，为了建立一个概率模型，我们需要引进概率律的概念。

• 概率律：
  • 直观上，它确定了任何结果或任何结果的集合（称为事件）的似然程度。
  • 精确的说，它给每一个事件$A$，确定一个数$P(A)$，称为事件$A$的概率。
• 概率公理：
  • （非负性） 对一切事件$A$，满足$P(A)\ge 0$.
  • （可加性） 设$A$和$B$为两个互不相交的集合（概率论中称为互不相容的事件），则它们的并满足：$$P(A\cup B)=P(A)+P(B).$$更一般地，若$A_1,A_2,\cdots$是互不相容的事件序列，则它们的并满足：$$P(A_1\cup A_2\cup \cdots )=P(A_1)+P(A_2)+\cdots .$$
  • （归一化） 整个样本空间$\Omega$（称为必然事件）的概率为1，即$P(\Omega )=1.$

可以把样本空间中的试验结果看成质点，每一个质点有一个质量。$P(A)$就是这个质点集合的总质量，而全空间的总质量为1.
概率律中的可加公式：不相交的事件序列的总质量等于各个事件的质量之和。

• $P(\varnothing )=0;$
• $P(A_1\cup A_2\cup A_3)=P(A_1)+P(A_2)+P(A_3)$
• 有限多个互不相容的事件的并的概率等于它们各自的概率之和。
• 证明某一概率是否是样本空间上的概率律：
  即证明此概率是否满足概率律三大公理。
  若已经证明某一概率是概率律，则概率律的性质皆适用于此概率。

离散模型

• 离散概率律：
  设样本空间由有限个可能的结果组成，则事件的概率可由组成这个事件的试验结果的概率所决定。事件$\{s_1,s_2,\cdots ,s_n\}$的概率是$P(s_i)$之和，即：$$P(\{s_1,s_2,\cdots ,s_n\})=P(s_1)+P(s_2)+\cdots +P(s_n).$$
• 离散均匀概率律（古典概型）：
  设样本空间由$n$个等可能性的试验结果组成，因此每个试验结果组成的事件（称为基本事件）的概率是相等的。由此得到：$$P(A)=\frac{含于事件A的试验结果数}{n}.$$

连续模型

• 若试验的样本空间是一个连续集合，其相应的单个点所组成的事件的概率必定为0。

例如，若样本空间是$\Omega =[0,1]$，则$P(0.5)=0,P([0,0.5])=\frac{1}{2}$

• 例题：
  罗密欧和朱丽叶约定在某一时刻见面，而每个人到达约会地点的时间都会有延迟，延迟时间在0~1小时。第一个到达约会地点的人会在那儿等待15分钟，等了15分钟后，若对方还没有到达约会地点，先到者会离开约会地点。问他们能够相互的概率有多大？

设罗密欧的延迟时间是$x$，朱丽叶的延迟时间是$y$，则根据题意知，$0\le x\le 1,0\le y\le 1,|x-y|\le \frac{1}{4}$，在直角坐标系中画出对应的图形：

事件$M$代表罗密欧和朱丽叶相互等待时间不超过15分钟，$M$是图中阴影部分，即：$$M=\{(x,y)||x-y|\le \frac{1}{4},0\le x\le 1,0\le y\le 1\}$$ $M$的面积等于1减去两个没有阴影的三角形的面积之和，即$1-\frac{3}{4}\times \frac{3}{4}=\frac{7}{16}$，因此他们能够相互的概率是$\frac{7}{16}.$

概率律的性质

• 概率律的若干性质：
  考虑一个概率律，令$A$、$B$和$C$为事件。
  • （1）若$A\subset B$，则$P(A)\le P(B).$
  • （2）$P(A\cup B)=P(A)+P(B)-P(A\cap B).$
  • （3）$P(A\cup B)\le P(A)+P(B).$
  • （4）$P(A\cup B\cup C)=P(A)+P(A^c\cap B)+P(A^c\cap B^c\cap C)$
• 性质（3）可以推广成：$$P(A_1\cup A_2\cup \cdots \cup A_n)\le \sum _{i=1}^{n}P(A_i).$$

模型和现实

通过两个阶段来分析现实世界的许多不确定现象。

• 第一阶段：
  在一个适当的样本空间中给出概率律，从而建立概率模型。
• 第二阶段：
  我们将在完全严格的概率模型之下进行推导，计算某些事件的概率或推导出一些十分有趣的性质。
• 概率论中存在一个“悖论”：
  对同一个问题，不同的计算方法似乎会得到不同的结论。

条件概率

条件概率是在给定部分信息的基础上对试验结果的一种推断。

在抛掷骰子的试验中有6种等概率的试验结果。
如果我们已经知道试验结果是偶数，即2，4，6这三种结果之一发生。
这样，得到试验结果是6的概率是：$P(试验结果是6|试验结果是偶数)=\frac{1}{3}$

• 根据上例的推导可知，对于等概率模型的情况，下面关于条件概率的定义是合适的，即：$$P(A|B)=\frac{事件A\cap B的试验结果数}{事件B的试验结果数}$$
  将这个结果推广，我们得到条件概率的定义：$$P(A|B)=\frac{P(A\cap B)}{P(B)}$$其中假定$P(B)>0.$

条件概率是一个概率律

• 证明条件概率是一个概率律：
  • 非负性显然成立；
  • 由于$P(\Omega |B)=\frac{P(\Omega \cap B)}{P(B)}=\frac{P(B)}{P(B)}=1$，故归一化成立；
  • 设$A_1,A_2$是任意两个不相容的事件，$$P(A_1\cup A_2|B)=\frac{P((A_1\cap A_2)\cup B)}{P(B)}=\frac{P((A_1\cap B)\cup (A_2\cap B))}{P(B)}=\frac{P(A_1\cap B)+P(A_2\cap B)}{P(B)}=\frac{P(A_1\cap B)}{P(B)}+\frac{P(A_2\cap B)}{P(B)}=P(A_1|B)+P(A_2|B)$$故，可加性成立。
• 条件概率的性质：
  • 设事件$B$满足$P(B)>0$，则给定$B$之下，事件$A$的条件概率由下式给出：$$P(A|B)=\frac{P(A\cap B)}{P(B)}.$$这个条件概率在同一个样本空间$\Omega$上给出了一个新的（条件）概率律。
    凡是现有的概率律的所有性质对这个条件概率都是适用的。
  • 由于条件概率所关心的事件都是事件$B$的子事件，可以把条件概率看成$B$上的概率律，即把事件$B$看成全空间或必然事件。
  • 当试验的$\Omega$为有限集，并且所有的试验结果为等可能的情况下，条件概率律可由下式给出：$$P(A|B)=\frac{事件A\cap B的试验结果数}{事件B的试验结果数}$$

例题：
有两个设计团队，一个比较稳重，记作$C$，另一个具有创新性，记作$N$。要求他们分别在一个月内做一个新设计。从过去的经验知道：
（a）$C$成功的概率为$\frac{2}{3};$
（b）$N$成功的概率为$\frac{1}{2};$
（c）两个团队中至少有一个成功的概率为$\frac{3}{4}.$
已知两个团队中只有一个团队完成了任务。问这个任务是$N$完成的概率有多大？
解：
现在共有4种可能结果：
$SS$：双方成功；
$SF$：$C$成功，$N$失败；
$FS$：$C$失败，$N$成功；
$FF$：双方失败。
现在将（a）（b）（c）写成概率等式：$$P(SS)+P(SF)=\frac{2}{3},P(SS)+P(FS)=\frac{1}{2},P(SS)+P(SF)+P(FS)=\frac{3}{4}$$结合归一化公理：$$P(SS)+P(SF)+P(FS)+P(FF)=1$$得到：$$P(SS)=\frac{5}{12},P(SF)=\frac{1}{4},P(FS)=\frac{1}{12},P(FF)=\frac{1}{4}.$$所求的条件概率为：$$P(FS|\{SF,FS\})=\frac{\frac{1}{12}}{\frac{1}{4}+\frac{1}{12}}=\frac{1}{4}.$$

利用条件概率定义概率模型

在为试验建立具有序贯特征的概率模型的时候，通常很自然地首先确定条件概率，然后确定无条件概率。这一过程，经常使用的条件概率公式$P(A\cap B)=P(A|B)P(B).$

例题（雷达探测器）：
若在某区域有一架飞机，雷达以99%的概率探测到并报警。
若在该地区没有飞机，雷达会以10%的概率虚假报警。
现在假定一架飞机以5%的概率出现在该地区。
问飞机没有出现在该地区而雷达虚假报警的概率有多大？飞机出现在该地区而雷达没有探测到的概率有多大？
解：
记：$A=\{飞机出现\}，B=\{雷达报警\}，A^c=\{飞机不出现\}，B^c=\{雷达未报警\}$。
题中给出的概率记录在下图描述样本空间的序贯树的相应枝条上。
每个试验结果可用树形图的叶子表示，它的概率等于由根部到树叶的枝条上显示的数据的乘积。
所求的概率为：
$P(飞机不出现,报警)=P(A^c\cap B)=P(A^c)P(B|A^c)=0.95\times 0.10=0.095$
$P(飞机出现,未报警)=P(A\cap B^c)=P(A)P(B^c|A)=0.05\times 0.01=0.0005$

• 利用序贯树形图计算概率，规则如下：
  • （a）设立一个序贯树形图，让关心的事件处于图的末端（叶子），由根结点一直到叶子的路径上的每一个结点代表一个事件。而我们所关心的事件的发生是由根结点一直到叶子的一系列事件发生的结果。
  • （b）在路径的每个分支上写上相应的条件概率。
  • （c）叶子所代表的事件是相应的分支上的条件概率的乘积。
• 乘法规则：
  假定所有涉及的条件概率都是正的，有：$$P({\cap }_{i=1}^n{A}_i)=P(A_1)P(A_2|A_1)P(A_3|A_1\cap A_2)\cdots P(A_n|{\cap }_{i=1}^{n-1}{A}_i).$$
• 证明乘法规则：
  $$P({\cap }_{i=1}^n{A}_i)=P(A_1)\frac{P(A_2\cap A_1)}{P(A_1)}\cdot \frac{P(A_3\cap A_1\cap A_2)}{P(A_1\cap A_2)}\cdots \frac{P({\cap }_{i=1}^n{A}_i)}{P({\cap }_{i=1}^{n-1}{A}_i)}.$$再利用条件概率的定义，上式右端变成：$$P(A_1)P(A_2|A_1)P(A_3|A_1\cap A_2)\cdots P(A_n|{\cap }_{i=1}^{n-1}{A}_i).$$

例题：（蒙提·霍尔问题，也称三门问题）
你站在三个封闭的门前，其中一个门后有奖品。当然，奖品在哪一个门后面是完全随机的。当你选定一个门以后，你的朋友打开其余两扇门中的一扇空门，显示门后没有奖品。此时，你可以有两种选择，保持原来的选择，或者改选另一扇没有被打开的门。当你做出最后选择以后，如果打开的门后有奖品，这个奖品就归你。
现在有三种策略：
（a）坚持原来的选择；
（b）改选另一扇没有被打开的门；
（c）你首先选择1号门，当你的朋友打开的是2号空门，你不改变注意。当你的朋友打开的是3号空门，你改变主义，选择2号门。
解析：
在策略（a）下，你的初始选择会决定你的输赢。由于奖品的位置是随机地确定的，你得奖的概率只能是$\frac{1}{3}$；
在策略（b）下，如果奖品的位置在你原来指定的门后（概率为$\frac{1}{3}$），由于你改变了主意，因而失去了获奖机会。如果奖品的位置不在你原来指定的门后（概率为$\frac{2}{3}$），而你的朋友，又将没有奖品的那扇门打开，当你改变选择的时候，一定有奖品，获奖概率是$\frac{2}{3}$。因此（b）比（a）好。
在策略（c）下，由于提供的信息不够充分，还不能确定你赢得奖品的概率。答案依赖于你的朋友打开门的方式。现在讨论两种情况：
第一种情况是：假定奖品的位置是在1号门后（概率为$\frac{1}{3}$），你的朋友打开了2号门，你不改变选择，则你得到奖品。当奖品在2号门后（概率为$\frac{1}{3}$）的时候，你的朋友打开了3号门，你改变选择，则你依旧得到奖品。当奖品在3号门后的时候（概率为$\frac{1}{3}$），你的朋友打开了2号门，你不改变选择，则你失去了奖品，综述，你获奖的概率是$\frac{2}{3}$，和策略（b）一样。
第二种情况是：假定奖品在1号门后，你的朋友随机打开2号门或3号门（概率各为$\frac{1}{2}$），此时你获奖的概率是$\frac{1}{6}$.如果奖品在2号门后（概率为$\frac{1}{3}$），你的朋友打开3号门，你不改变选择，你赢得奖品。综述，你获奖的概率是$\frac{1}{6}+\frac{1}{3}=\frac{1}{2}$，此时策略（c）比策略（b）差。
综上所述：当然是改变选择。
此题在电影《决胜21点》出现过，截图如下：

全概率定理和贝叶斯准则

• 全概率定理：
  设$A_1,A_2,\cdots ,A_n$是一组互不相容的事件，形成样本空间的一个分割（每一个试验结果必定使得其中一个事件发生）.又假定对每一个$i$，$P(A_i)>0$.则对于任何事件$B$，下列公式成立$$P(B)=P(A_1\cap B)+\cdots +P(A_n\cap B)=P(A_1)P(B|A_1)+\cdots +P(A_n)P(B|A_n).$$
  
  这条定理主要应用于计算事件$B$的概率。直接计算事件$B$的概率有点难度，但是若条件概率$P(B|A_i)$是已知的或很容易推导计算时，全概率定理就成为计算$P(B)$的有力工具。
  事件$B$受到事件$A_1,A_2,\cdots ,A_n$的约束。

例题：
爱丽丝在上一门概率课。在每周周末的时候，她可能跟上课程或跟不上课程。如果她在某一周是跟上课程的，那么她在下周跟上课程的概率为0.8（下周跟不上课程的概率为0.2）。然而，如果她在某一周没有跟上课程，那么她在下周跟上课程的概率为0.4（下周跟不上课程的概率为0.6）。现在假定，在第一周上课以前认为她是能跟上课程的。经过三周的学习，她能够跟上课程的概率有多大？
解：
令$U_i$和$B_i$分别表示经过$i$周学习后跟上和跟不上课程的事件。
按照全概率定理，$P(U_3)$可由下式给出$$P(U_3)=P(U_2)P(U_3|U_2)+P(B_2)P(U_3|B_2)=P(U_2)\cdot 0.8+P(B_2)\cdot 0.4$$
对于$P(U_2)$和$P(B_2)$，又可以利用全概率定理$$P(U_2)=P(U_1)P(U_2|U_1)+P(B_1)P(U_2|B_1)=P(U_1)\cdot 0.8+P(B_1)\cdot 0.4,$$ $$P(B_2)=P(U_1)P(B_2|U_1)+P(B_1)P(B_2|B_1)=P(U_1)\cdot 0.2+P(B_1)\cdot 0.6$$
最后，由于爱丽丝在刚刚开始上课的时候是能够跟上课程的，我们有$$P(U_1)=0.8,P(B_1)=0.2$$
从前面三个方程式解得$$P(U_2)=0.8\cdot 0.8+0.2\cdot 0.4=0.72,$$ $$P(B_2)=0.8\cdot 0.2+0.2\cdot 0.6=0.28,$$
再利用$P(U_3)$的等式，得到$$P(U_3)=0.72\cdot 0.8+0.28\cdot 0.4=0.688$$
利用全概率公式得到递推式：（可以计算经过i周学习后）$$P(U_{i+1})=P(U_i)\cdot 0.8+P(B_i)\cdot 0.4,$$ $$P(B_{i+1})=P(U_i)\cdot 0.2+P(B_i)\cdot 0.6$$

• 贝叶斯准则：
  设$A_1,A_2,\cdots ,A_n$是一组互不相容的事件，形成样本空间的一个分割（每一个试验结果必定使得其中一个事件发生）.又假定对每一个$i$，$P(A_i)>0$.则对于任何事件$B$，只要它满足$P(B)>0$，下列公式成立$$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{P(B)}=\frac{P(A_i)P(B|A_i)}{P(A_1)P(B|A_1)+\cdots +P(A_n)P(B|A_n)}$$
• 贝叶斯准则进行因果推理（已知结果，求原因）
  • 当观察到结果$B$的时候，我们希望反推结果$B$是由原因$A_i$造成的概率$P(A_i|B).$
  • $P(A_i|B)$为由于代表新近得到的信息$B$之后$A_i$出现的概率，称之为后验概率。
  • $P(A_i)$称之为先验概率。

例题：（假阳性之谜）
设对于某种少见的疾病的检出率为0.95：
如果一个被检查的人有这种疾病，其检查结果为阳性的概率为0.95；如果该人没有这种疾病，其检查结果为阴性的概率为0.95.
现在假定某一人群中患有这种病的概率为0.001，并从这个总体中随机抽取一个人检测，检测结果为阳性。
现在问这个人患这种病的概率有多大？
解：
记$A$为这个人有这种疾病，$B$为经检验这个人为阳性。
利用贝叶斯准则$$P(A|B)=\frac{P(A)P(B|A)}{P(A)P(B|A)+P(A^c)P(B|A^c)}=\frac{0.001\cdot 0.95}{0.001\cdot 0.95+0.999\cdot 0.05}\approx 0.0187$$
一个检测为阳性的人，患病的概率竟然小于2%！

独立性

• $A$独立于$B$蕴含着$B$独立于$A$，称$A$和$B$是相互独立的，或$A$和$B$是相互独立的事件。
• 根据公式$P(A\cap B)=P(A)P(B)$来判断$A$和$B$是否相互独立。

例题：
考虑连续两次抛掷一个具有4个面的对称的骰子，假定16种可能的试验结果是等概率的，每个试验结果的概率为$\frac{1}{16}$.
问事件$A_i=\{第一次抛掷后得i\}，B_j=\{第二次抛掷后得j\}$是否相互独立？
解：
$P(A_i\cap A_j)=P(两次抛掷的结果是(i,j))=\frac{1}{16},$
$P(A_i)=\frac{A_i中的试验结果数}{总的试验结果数}=\frac{4}{16},$
$P(B_j)=\frac{B_j中的试验结果数}{总的试验结果数}=\frac{4}{16}.$
由于$P(A_i\cap A_j)=P(A_i)P(B_j)$，可知$A_i$和$B_i$是相互独立的。

条件独立

• 特别地，在给定$C$之下，若事件$A$和事件$B$满足$$P(A\cap B|C)=P(A|C)P(B|C),$$则称$A$和$B$在给定$C$之下条件独立。
• 利用条件概率定义和乘法规则，得到$$P(A\cap B|C)=\frac{P(A\cap B\cap C)}{P(C)}=\frac{P(C)P(B|C)P(A|B\cap C)}{P(C)}=P(B|C)P(A|B\cap C).$$
• 根据上面两式，只要$P(B|C)\ne 0$，那么$$P(A|B\cap C)=P(A|C).$$

考虑抛掷两枚均匀的硬币。这个试验的4种可能结果都是等可能的，令
$H_1=\{第一枚硬币正面向上\}$，
$H_2=\{第二枚硬币正面向上\}$，
$D=\{两枚硬币的试验结果不同\}$。
事件$H_1$和事件$H_2$是相互独立的，但是
$P(H_1|D)=\frac{1}{2},P(H_2|D)=\frac{1}{2},P(H_1\cap H_2|D)=0,$
这样，$P(H_1\cap H_2|D)\ne P(H_1|D)P(H_2|D)$，从而$H_1$和$H_2$并不条件独立

• 对于任何概率模型，记$A$和$B$是相互独立的事件，$C$是一个满足条件$P(C)>0,P(A|C)>0,P(B|C)>0$的事件，并且$A\cap B\cap C$为空集。这样，由于$P(A\cap B|C)=0$和$P(A|C)P(B|C)>0$，$A$和$B$不可能条件独立。
• 独立性总结：
  • 两个事件$A$和$B$，如果它们满足$$P(A\cap B)=P(A)P(B),$$则事件$A$和$B$相互独立。
    若$B$还满足$P(B)>0$，则独立性等价于$$P(A|B)=P(A).$$
  • 若事件$A$和$B$相互独立，则事件$A$和$B^c$也相互独立。
  • 设事件$C$满足$P(C)>0$，两个事件$A$和$B$如果满足$$P(A\cap B|C)=P(A|C)P(B|C).$$则$A$和$B$称为在给定$C$的条件下条件独立。
    若进一步假定$P(B\cap C)>0$，则$A$和$B$在给定$C$的条件下的条件独立性与下面的条件是等价的。$$P(A|B\cap C)=P(A|C).$$
  • 独立性并不蕴含条件独立性，反之亦然。

一组事件的独立性

• 几个事件的相互独立性的定义：
  设$A_1,\cdots ,A_n$为$n$个事件。若它们满足$$P\left(\bigcap _{i\in S}{A}_i\right)=\prod _{i\in S}P(A_i)对\{1,2,\cdots ,n\}的任意子集S成立.$$则称$A_1,\cdots ,A_n$为相互独立的事件。
• 事件$A_1,A_2,A_3$，独立性条件归结为下列4个条件：
  $$P(A_1\cap A_2)=P(A_1)P(A_2),$$ $$P(A_1\cap A_3)=P(A_1)P(A_3),$$ $$P(A_2\cap A_3)=P(A_2)P(A_3),$$ $$P(A_1\cap A_2\cap A_3)=P(A_1)P(A_2)P(A_3).$$前三个式子说明两两独立，四个式子一起说明互相独立。

可靠性

• 在由多个元件组成的一个复杂系统中，通常假定各个元件的表现是相互独立的。

独立试验和二项概率

• 设试验由一系列独立且相同的小试验组成，称这种试验为独立试验序列。
• 当每个阶段的小试验只有两种可能结果的时候，就称为独立的伯努利（Bernoulli）试验序列。
• 二项概率：
  $p(k)=\{n次抛掷中有k次出现正面\}$，则$$p(k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$$其中记号$\left(\genfrac{}{}{0ex}{}{n}{k}\right)=n次抛硬币的试验中出现k次正面的试验结果数。$
  数$\left(\genfrac{}{}{0ex}{}{n}{k}\right)$为二项式系数，称为$n$选$k$的组合数，$p(k)$为二项概率。
  $$\left(\genfrac{}{}{0ex}{}{n}{k}\right)=\frac{n!}{k!(n-k)!},k=0,1,\cdots ,n,i!=1\cdot 2\cdots (i-1)\cdot i,记0!=1.$$
• 由于二项式概率的总和必须为$1$，因此得到二项式公式：$$\sum _{k=1}^n\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}=1.$$
• $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$与$C_n^k$的意思一样，但是写法要注意，上下是相反的。

计数法

计数准则

• 计数准则：
  考虑由$r$个阶段组成的一个试验，假设：
  （a）在第1个阶段有$n_1$个可能的结果；
  （b）对于第1个阶段的任何一个结果，在第2个阶段有$n_2$个可能的结果；
  （c）一般地，在前$r-1$个阶段的任何一个结果，在接下来的第$r$个阶段有$n_r$个结果，则在$r$个阶段的试验中一共有$$n_1{n}_2\cdots n_r$$个试验结果，

$n$选$k$排列

• 假定$n$个不同的对象组成一个集合，令$k$是一个正整数，$k\le n$。从$n$个对象中顺序的选出$k$个对象，或$k$个不同对象的序列数。$$n(n-1)\cdots (n-k+1)=\frac{n(n-1)\cdots (n-k+1)(n-k)\cdots 2\cdot 1}{(n-k)\cdots 2\cdot 1}=\frac{n!}{(n-k)!}$$这些序列称为$n$选$k$排列，当$k=n$时，简称排列，此时所有可能的序列数为$n(n-1)\cdots 2\cdot 1=n!.$

组合

• 从$n$个元素集合中选$k$个元素的组合数为$$\left(\genfrac{}{}{0ex}{}{n}{k}\right)=\frac{n!}{k!(n-k)!}$$

分割

• 给定一个元素个数为$n$的集合，并设$n_1,n_2,\cdots ,n_r$为非负整数，$n_1+n_2+\cdots +n_r=n$，现在考虑，将$n$个元素的集合分解成$r$个不相交的子集，使得第$i$个子集元素个数刚好是$n_i$，问一共有多少种分解的方法。
• 现在分阶段，每次确定一个子集，一共有$\left(\genfrac{}{}{0ex}{}{n}{n_1}\right)$种方法确定第一个子集，$\left(\genfrac{}{}{0ex}{}{n-n_1}{n_2}\right)$种方法确定第二个子集，以此类推，对于$r$个阶段的选择，利用乘法准则，得到总共的选择方法数目为$$\left(\genfrac{}{}{0ex}{}{n}{n_1}\right)\left(\genfrac{}{}{0ex}{}{n-n_1}{n_2}\right)\left(\genfrac{}{}{0ex}{}{n-n_1-n_2}{n_3}\right)\cdots \left(\genfrac{}{}{0ex}{}{n-n_1-\cdots n_{r-1}}{n_r}\right)$$上式等于$$\frac{n!}{n_1!(n-n_1)!}\cdot \frac{(n-n_1)!}{n_2!(n-n_1-n_2)!}\cdots \frac{(n-n_1-\cdots n_{r-1})!}{n_r!(n-n_1-\cdots n_r)!}$$化简得$$\frac{n!}{n_1!n_2!\cdots n_r!}$$这个数称为多项式系数，并用下列记号表示：$$\left(\genfrac{}{}{0ex}{}{n}{n_1,n_2,\cdots ,n_r}\right)$$
• 计数法汇总：
  • $n$个对象的排列数：$n!$;
  • $n$个对象中取$k$个对象的排列数：$\frac{n!}{(n-k)!}$;
  • $n$个对象中取$k$个对象的组合数：$\left(\genfrac{}{}{0ex}{}{n}{k}\right)=\frac{n!}{k!(n-k)!}$;
  • 将$n$个对象分成$r$个组的分割数，其中第$i$个组具有$n_i$个对象：$$\left(\genfrac{}{}{0ex}{}{n}{k}\right)=\frac{n!}{n_1{n}_2!\cdots n_r!}$$

小结

• 解决一个概率问题通常分成下列几个步骤：
  • （1）描述样本空间，样本空间是一个试验的所有可能的试验结果的集合；
  • （2）（可能不直接地）列出概率律（每个事件的概率）；
  • （3）计算各种事件的概率和条件概率。
• 计算概率的三种方法：
  • 计数法
  • 序贯树形图方法
  • 全概率公式