统计学习方法——朴素贝叶斯法原理

1. 朴素贝叶斯

贝叶斯是因为使用了贝叶斯定理，朴素是因为特征条件对立性的假设。朴素贝叶斯因此得名。

2. 模型

2.1 联合概率分布

2.2 学习联合概率分布的目的

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。学习联合概率分布P(X,Y)分布的目的，是为了得到先验概率和条件概率分布。（贝叶斯定理所需要的条件）

2.3 条件独立性假设

条件概率分布和先验概率分布我们都可以利用训练数据集将其估计出来。

3. 朴素贝叶斯分类

3.1 贝叶斯定理

3.2 构建朴素贝叶斯分类器

因此，朴素贝叶斯法，就是利用训练数据集得到先验概率和条件概率，进而求得在输入为x的条件下的后验概率，根据后验概率最大准则，选择使得后验概率最大的类，最为输入实例的类输出。

学习过程：

朴素贝叶斯法的参数估计——极大似然估计及其Python实现

朴素贝叶斯法的参数估计——贝叶斯估计及其Python实现

3.4 后验概率最大和经验损失最小的关系