第四章 朴素贝叶斯法

1.朴素贝叶斯法是典型的生成学习方法。由训练数据集学习联合概率分布P(X,Y)，然后求得后验概率分布P(Y|X)。利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布：

联合概率分布

概率估计的方法可以是极大似然估计或贝叶斯估计。

2.朴素贝叶斯法的基本假设是条件独立性。

3.朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。将输入x分到后验概率最大的类y。后验概率最大等价于0-1损失函数时的期望风险最小化。

---

4.1 朴素贝叶斯法的学习与分类

4.1.1 基本方法

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。学习先验概率分布和条件概率分布

先验概率分布

条件概率分布

条件独立性假设：用于分类的特征在类确定的条件下都是条件独立的

条件独立性假设

朴素贝叶斯法学习到生成数据的机制，属于生成模型。

朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布P(Y=ck|X=x)，将后验概率最大的类作为x的类输出

后验概率

4.1.2 后验概率最大化的含义

后验概率最大化

4.2朴素贝叶斯法的参数估计

4.2.1 极大似然估计

极大似然估计适于“模型已知，参数未定”的情况. 已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。

最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。我们所估计的模型参数，要使得产生这个给定样本的可能性最大. 该方法通常有以下几个步骤：

    写出似然函数

    对似然函数取对数

    求导数

    解似然方程

推导：朴素贝叶斯的参数估计

先验概率的极大似然估计

条件概率的极大似然估计

4.2.2 学习与分类算法

朴素贝叶斯算法

4.2.3 贝叶斯估计

条件概率的贝叶斯估计

其中，lamda>=0。

lamda=0时是极大似然估计。

lamda=1，称为拉普拉斯平滑

先验概率的贝叶斯估计