统计学习笔记4—朴素贝叶斯法

第四章 朴素贝叶斯法

4.1朴素贝叶斯法的学习与分类

4.1.1基本方法

朴素贝叶斯法通过训练数据集学习联合概率分布。
利用先验概率分布和条件概率分布求得联合概率分布：

条件概率参数是指数级，太复杂—条件独立性假设：用于分类的特征在类确定的条件下是独立的。

朴素贝叶斯分类器：

4.1.2 后验概率最大化的含义

朴素贝叶斯法就是将实例分到后验概率最大的类中。
因此期望风险最小化就是后验概率最大化：

4.2朴素贝叶斯法的参数估计

4.2.1极大似然估计

先验概率的极大似然估计：

条件概率的极大似然估计：

4.2.2学习与分类算法

算法流程：

4.2.3贝叶斯估计

极大似然估计存在问题：概率值为0——采用贝叶斯估计：


拉普拉斯平滑：