彻底理解贝叶斯公式

1.条件概率

条件概率（又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。
比如，在同一个样本空间Ω中的事件或者子集A与B，如果随机从Ω中选出的一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率，所以：P(A|B) = |A∩B|/|B|，接着分子、分母都除以|Ω|得到：

联合概率表示两个事件共同发生的概率。A与B的联合概率表示为P(A∩B)或者P(A，B)。

边缘概率（又称先验概率）是某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中那些不需要的事件通过合并成它们的全概率，
而消去它们（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率），这称为边缘化（marginalization），比如A的边缘概率表示为P(A)，
B的边缘概率表示为P(B)。

接着，考虑一个问题：P(A|B)是在B发生的情况下A发生的可能性。
1）首先，事件B发生之前，我们对事件A的发生有一个基本的概率判断，称为A的先验概率，用P(A)表示；
2）其次，事件B发生之后，我们对事件A的发生概率重新评估，称为A的后验概率，用P(A|B)表示；
3）类似的，事件A发生之前，我们对事件B的发生有一个基本的概率判断，称为B的先验概率，用P(B)表示；
4）同样，事件A发生之后，我们对事件B的发生概率重新评估，称为B的后验概率，用P(B|A)表示。

总结：
1. P(A)： 先验概率 （边缘概率）即某事件发生的概率
2. P(B|A)：后验概率 （条件概率）
3. P(AB)： 联合概率 （AB同时发生的概率)

2. 全概率公式

在讲全概率公式之前，首先要理解什么是“完备事件组”。 我们将满足

                    BiBj=∅(i≠j)   B1+B2+⋯=Ω

这样的一组事件称为一个“完备事件组”。简而言之，就是事件之间两两互斥，所有事件的并集是整个样本空间（必然事件）。

假设我们要研究事件A。我们希望能够求出P(A)，但是经过一番探索，却发现P(A) 本身很难直接求出，不过却能够比较容易地求出各个P(Bi)，以及相应的条件概率P(A|Bi)。 能不能根据这些信息，间接地求出P(A)呢？ 这当然是可以的。

我们不要忘记，Bi是两两互斥的。

A=AΩ=AB1+AB2+AB3+⋯
显然，AB1，AB2，AB3，⋯也是两两互斥的。一说到两两互斥，我们就想到了概率的加法定理：

P(A)=P(AΩ)=P(AB1+AB2+AB3+⋯)=P(AB1)+P(AB2)+P(AB3)+⋯
再根据条件概率的定义，我们得到了教科书上的全概率公式：

P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)+⋯
【总结】全概率公式可以从另一个角度去理解，把Bi看作是事件A发生的一种“可能途径”，若采用了不同的途径，A发生的概率，
也就是相应的条件概率P(A|Bi)也会不同。但是，我们事先却并不知道将会走哪条途径，换言之，途径的选择是随机的，
这样就导致了不同途径被选中的可能性也许也会存在差异，这就是P(Bi)所表达的含义。这样一来，我们最终所要求的P(A)，
实际上就是一个不同路径概率的加权平均。

3. 贝叶斯公式

有了前面的基础，我们现在先直接抛出贝叶斯公式：

分子：条件概率；分母：全概率。但它所表达的意义却非常刻！
在全概率公式中，如果将A看成是“结果”，Bi看成是导致结果发生的诸多“原因”之一，那么全概率公式就是一个“原因推结果”的过程。但贝叶斯公式却恰恰相反。贝叶斯公式中，我们是知道结果A已经发生了，所要做的是反过来研究造成结果发生的原因，是XX原因造成的可能性有多大，即“结果推原因”。