统计学习方法 （第4章） 朴素贝叶斯法 学习笔记

第4章 朴素贝叶斯法

　　朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

　　该章叙述朴素贝叶斯法，包括朴素贝叶斯法的学习与分类、朴素贝叶斯法的参数估计算法。

4.1 朴素贝叶斯法的学习与分类

　　4.1.1 基本方法

　　　　

　　　　朴素贝叶斯法对条件概率分布做了条件独立性的假设，具体的该条件独立性假设是：

　　　　

　　　　朴素贝叶斯法实际上学习到生成数据的机制，属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的，这一假设是朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

　　　　贝叶斯定理的公式为：

　　　　

　　　　将上面两个公式合并可得到：

　　　　

　　　　而这就属朴素贝叶斯分类器的基本公式。上式中，对于每个分类结果，分母是相同的，而且，我们求得是后验概率最大的类作为x的输出，所以上式也可以写成：

　　　　

　　　　贝叶斯算法将实例分到后验概率最大的类中，这等级价与期望风险最小化，具体证明书上很清楚。

 

4.2 朴素贝叶斯法的参数估计

　　4.2.1 极大似然估计

　　　　在朴素贝叶斯算法中，学习意味着要估计先验概率和条件概率分布，就可以用极大似然估计法估计相应的概率

　　 4.2.2 学习与分类算法

　　　　直接给出书中的例题比较好理解：

 　　　　

　　　　

　　 4.2.3 贝叶斯估计

　　　　用极大似然估计可能会出现所要估计的概率值为0的情况。这时会影响到后验概率的计算结果，是分类产生产生偏差。解决这一问题的方法采用贝叶斯估计，条件概率的贝叶斯估计是：

　　　　

　　　　λ=0时就是极大似然估计，λ=1时称为拉普拉斯平滑。

4.3 本章概要