朴素贝叶斯法(一)——贝叶斯定理

最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。

贝叶斯定理是在250多年前发明的算法，在信息领域内有着无与伦比的地位。贝叶斯分类是一系列分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。朴素贝叶斯算法（Naive Bayesian) 是其中应用最为广泛的分类算法之一。

 

贝叶斯定理

描述

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。

在贝叶斯定理中，每个名词都有约定俗成的名称：

• P(A)是A的先验概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
• P(A|B) 由于得自B的取值而被称作A的后验概率。
• P(B|A) 由于得自A的取值而被称作B的后验概率。
• P(B)是B的先验概率，也作标准化常量。

按这些术语，Bayes定理可表述为：

后验概率 = (相似度*先验概率) / 标准化常量

P(B|A)称为“可能性函数”，这是个调整因子，使得预估计概率更接近真实概率。

所以，条件概率可以理解为式子：

       后验概率 = 先验概率 * 调整因子

这就是贝叶斯推断的含义：我们先预测一个“先验概率”，然后加入实验结果，看这个实验到底是增强还是削弱了“先验概率”，由此得到更加真实的“后验概率”。

在这里，如果“可能性函数”P(B|A)>1,意味着“先验概率”被增强，事件A发生的可能性增大；如果“可能性函数”P(B|A)=1，意味着事件B无助于判断事件A的可能性；如果“可能性函数”P(B|A)<1，意味着“先验概率”被减弱，事件A发生的可能性变小。

推导

根据条件概率的定义。在事件B发生的条件下事件A发生的概率是

。

同样地，在事件A发生的条件下事件B发生的概率

整理与合并这两个方程式，我们可以找到

这个引理有时称作概率乘法规则。上式两边同除以P(B)，若P(B)是非零的，我们可以得到贝叶斯定理:

贝叶斯定理通常可以再写成下面的形式：

其中A^C是A的补集。故上式亦可写成：

在更一般化的情况，假设{A_i}是事件集合里的部分集合，对于任意的A_i，贝叶斯定理可用下式表示：

案例

                   30                                                                                                                                               20     

                   10                                                                                                                                               20

                                                                                                                                                       

 

暗箱操作，现在从其中一个箱子中得到一个绿球，问是从黑箱中取得的概率是？

分析：假定“从黑箱中取球”为事件A，“从红箱中取球”为事件B，“取到绿球”为事件M.

则问题为求P(A|M)

由贝叶斯定理得：P(A|M) = P(A) * P(M|A) / P(M)

= P(A) * P(M|A) /[ P(M|A)*P(A) + P(M|B) *P(B)]

其中，P(A)=P(B) = 1/2, P(M|A) = 3/4, P(M|B) = 1/2

结果为0.6，表明，来自黑箱的概率为0.6。也就是得到绿球后，事件A（取自于黑箱）的可能性增强了。