朴素贝叶斯分类器（Naive Bayesian Classifier）

基于对周志华教授所著的《机器学习》的“第7章 贝叶斯分类器”部分内容的学习笔记.

先验概率与后验概率

先验概率（摘自维基百科）：在贝叶斯统计推断论中，一个未确定数目的先验概率分布（一般简称为先验）是一种表达了某人对于该数目的信仰的一种概率分布，这种信仰是没有考虑到一些（当前的）证据的。

解释：通俗来说，对于某一个概率事件，我们都会有基于自己已有的知识，对于这个概率事件会分别以什么概率出现各种结果会有一个预先的估计，而这个估计并未考虑到任何相关因素。

举例来说，假如你考试没及格，老师要求大家拿卷子回家给爸妈签字，按照你已有的对爸妈脾气的了解，以及他们对自己成绩的要求，你在不考虑其它任何因素的情况下，自己已经有了一个对把卷子拿回家给他们签字的后果预估（先验）：

被胖揍一顿：70%
被简单地数落一下：20%
被温情地鼓励：10%
 

后验概率:

翻译：在贝叶斯推断中，一个随机事件的后验概率是指：当与事件相关的一些证据或背景也被考虑进来时的条件概率。“后验”在这个语境下即指的是在考虑了与要被检验的特定事件相关的证据。

所以后验概率就是在先验概率的基础上加了一层“考虑”：结合我们已有的知识，将与待检验事件（即我们正在估计概率的随机事件）相关的因素也考虑进去后，我们队随机事件的概率的预估。

回到卷子签字的例子。

假设，你惶恐地拿着卷子回到家中，还没开口说考试的事，就看到爸爸妈妈在那儿雀跃，好似疯了一样。你一问，他们告诉你说家里中了1亿的大奖，以后就直接过上荣华富贵的生活啦！

这时，你小眼珠子一转，根据当前家里中了亿元大奖的情况，对把不及格试卷给爸妈签字的后果有了新的预估（后验）：

被胖揍一顿：0%
被简单地数落一下：0%
被温情地鼓励：100%
没错，因为你觉得按现在家里的情况来看，爸妈会觉得你这一次考试没及格算个屁，以后直接花钱把你送到国外去留学，回来继承家产就是了，什么考试啥的见鬼去吧~~

这就是先验概率和后验概率的区别：先验概率基于已有知识对随机事件进行概率预估，但不考虑任何相关因素(P©)。后验概率基于已有知识对随机事件进行概率预估，并考虑相关因素(P(c|x))。
 

贝叶斯定理（Bayesian Theorem）

翻译：在概率论与统计学中，贝叶斯定理（或称贝叶斯法则、贝叶斯规则）描述了一个事件的可能性，这个可能性是基于了预先对于一些与该事件相关的情况的知识。举例来说，如果癌症和年龄有关，那么使用贝叶斯定理的话，相比根本不了解关于此人的任何其他信息，知道了它的年龄的话就可以用来更准确地帮助评估它得癌症与否的概率。

那么其实很明显了，这里的“可能性”也是考虑了与随机事件相关的因素的，所以贝叶斯定理所阐述的也就是后验概率的获得方法。

 

朴素贝叶斯分类器

何为“朴素”：属性条件独立性假设

这个假设认为每个属性取它的各个值的可能性是独立的，与其它属性的取值不相关。

属性条件独立性假设实际上是忽略掉了某些属性之间可能存在的关联，假设属性的取值可能性都是独立的，以简化那么按照这种方式计算，我们前面谈到的“数据集无法覆盖所有可能的属性组合的样本”问题也就基本解决了，因为根本不需要有那么多样本，保证每个属性的各个取值都能有样本取到过就行了。

但是，由于朴素贝叶斯分类器在这种naive的假设下仍能在实际问题中取得比较好的效果，因此这个假设的不合理性也就可以暂时放下不谈了。
 

拉普拉斯修正(Laplacian correction)

朴素贝叶斯分类器在实际使用中还需要注意的一个问题是：若某个离散类型的属性值在训练集中没有与某个类同时出现过，那么当我们使用对其进行估计时，在用最后的连乘式计算该样本属于该类的概率时，不管其它的属性如何取值，就会因为一个零值导致分类器认为该样本属于这个类型c的概率为 0，这显然是不合理的。
 

在分母上都加上取值的可能性个数，分子上都加1，这就保证了即使是存在某个属性i的取值 xi 与未曾与类别 ci 同时出现过，我们也不会把其概率P(xi∣c) 算成0.