条件概率、全概率和贝叶斯公式

1、条件概率公式

        设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：

                     P(A|B)=P(AB)/P(B)

分析：一般说到条件概率这一概念的时候，事件A和事件B都是同一实验下的不同的结果集合，事件A和事件B一般是有交集的，若没有交集（互斥），则条件概率为0，例如：

① 扔骰子，扔出的点数介于[1,3]称为事件A，扔出的点数介于[2,5]称为事件B，问：B已经发生的条件下，A发生的概率是多少？

也即，做一次实验时，即有可能仅发生A，也有可能仅发生B，也有可能AB同时发生，

② 同时扔3个骰子，“三个数都不一样”称为事件A，“其中有一个点数为1”称为事件B。这一题目中，AB也是有交集的。

用图更能容易的说明上述问题，我们进行某一实验，某一实验所有的可能的样本的结合为Ω（也即穷举实验的所有样本），圆圈A代表事件A所能囊括的所有样本，圆圈B代表事件B所能囊括的所有样本。

由图再来理解一下这个问题：“B已经发生的条件下，A发生的概率”，这句话中，“B已经发生”就相当于已经把样本的可选范围限制在了圆圈B中，其实就等价于这句话：“在圆圈B中，A发生的概率”，显然P(A|B)就等于AB交集中样本的数目/B的样本数目。为什么这里用的是样本的数目相除，而上面的公式却是用的概率相除，原因很简单，用样本数目相除时，把分子分母同除以总样本数，这就变成了概率相除。

2、乘法公式

         1.由条件概率公式得：

                       P(AB)=P(A|B)P(B)=P(B|A)P(A)    

             上式即为乘法公式；

         2.乘法公式的推广：对于任何正整数n≥2，当P(A1A2...An-1) > 0 时，有：

                 P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)

3、全概率公式

        1. 如果事件组B1，B2，.... 满足

               1.B1，B2....两两互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，....，且P(Bi)>0,i=1,2,....;

               2.B1∪B2∪....=Ω ，则称事件组 B1,B2,...是样本空间Ω的一个划分

          设 B1,B2,...是样本空间Ω的一个划分，A为任一事件，则：

题1：

已知：各个A∩Bi的样本数、Bi的样本数，
求A的样本数 / 总样本数Ω？

题2：

已知：各个A∩Bi的概率、Bi的概率，
求A的概率？

 

上图中，某一实验所有的可能的样本的集合为Ω，圆圈A代表事件A所能囊括的所有样本，把总集合Ω分为n个小集合，依次为B1、B2···Bn，这些小集合两两互斥，那么显然，A的样本数目可以通过与Bi的交集来获得，也即=（A∩B1的样本数）+（A∩B2的样本数）+····+（A∩Bn的样本数）。前文已经说过，样本数公式和概率公式，本质上是一样的东西， 题1与题2的是完全相同的题目。

4、贝叶斯公式

      1.与全概率公式解决的问题相反，贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因（即大事件A已经发生的条件下，分割中的小事件Bi的概率），设B1,B2,...是样本空间Ω的一个划分，则对任一事件A（P(A)>0),有

上式即为贝叶斯公式（Bayes formula)，Bi 常被视为导致试验结果A发生的”原因“，P(Bi)(i=1,2,...)表示各种原因发生的可能性大小，故称先验概率；P(Bi|A)(i=1,2...)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

已知：各个A∩Bi的样本数、Bi的样本数，
求A∩B3的样本数 / A的样本数？

例子：发报台分别以概率0.6和0.4发出信号“∪”和“—”。由于通信系统受到干扰，当发出信号“∪”时，收报台分别以概率0.8和0.2受到信号“∪”和“—”；又当发出信号“—”时，收报台分别以概率0.9和0.1收到信号“—”和“∪”。求当收报台收到信号“∪”时，发报台确系发出“∪”的概率。

解析：贝叶斯这一概念，所探讨的问题，也是事件A和事件B都是某一实验的不同的结果集合，然后把事件B这个结果集合分为n小份，每一小份也是结果集合，只不过这些小集合一定位于B集合内部，每一小份结果集合称为Bi(i∈[1,n])，Bi之间两两互斥，所有Bi并起来就是B。
本例中，实验为“发一次报，收一次报，然后记录发、收的字符”，事件A为“收到了U”，事件B为"发出了信号"，事件B1为“发出了U”，事件B2为“发出了—”，显然这里B1∪B2=B，B1∩B2=∅。要想求P(B1 | A)，根据条件概率公式，P(B1 | A)=P(B1 A)/P(A)，只要分别计算出分子分母就行了，显然分子可以用上面的乘法公式来求，分母为已知（若分母未知，就得用全概率公式来求）。（0.6*0.8）/（0.6*0.8+0.4*0.1）=0.9231

贝叶斯公式，根本不用记忆，其实就是条件概率、乘法公式、全概率公式的组合。

更多例子

https://blog.csdn.net/u013066730/article/details/96422817

总结：

（1）以上四个公式的研究对象，都是“同一实验下的不同的结果集合”

（2）为了容易理解这四个概率公式，可以把用“样本数目公式”来代替“概率公式”，来求概率。