统计学习方法笔记——第四章 朴素贝叶斯法

朴素贝叶斯法是一种分类方法，基于两个条件：①贝叶斯定理；②特征条件之间相互独立的假设。

掌握朴素贝叶斯法的思想，需先掌握概率论的相关内容：条件概率，联合概率分布，先验概率，后验概率，独立性，贝叶斯公式等。

1.1   朴素贝叶斯法的基本原理

朴素贝叶斯法通过训练数据集学习联合概率分布P（X，Y），具体地：

①先学习先验概率分布，其中Ck代表不同的类别；

②再学习条件概率分布，即在已知类别的条件下，属于某个特征的概率。

这样，在已知待测样本特征的情况下，它属于某个类别的后验概率，可根据贝叶斯定理来计算：

朴素贝叶斯分类法的第二个前提是假设特征条件之间相互独立，即没有冗余特征，这是一个强假设条件。因此，在这个假设下有

将该式代入贝叶斯定理的公式中得：

这就是朴素贝叶斯分类法的基本公式，故朴素贝叶斯分类器可表示为：

，即后验概率最大的那个类，即为预测的类。

显然，不管预测哪个类别的后验概率，分母都是常数，故：

1.2   朴素贝叶斯法的参数估计

参数估计意味着估计和。

①极大似然估计

如，根据这张表

则根据极大似然估计，P（Y=1）=9/15，P（X（1）=1|Y=1）=2/9。

极大似然估计下的朴素贝叶斯算法如下：

简而言之，就是利用极大似然估计先计算先验概率和条件概率，然后根据公式计算后验概率最大的那个类，即为预测结果。

②贝叶斯估计

在极大似然估计的基础上，分子分母分别加上正数，防止出现概率为0的情况。特别地，若入=1，则称为拉普拉斯平滑方法。