西瓜书+实战+吴恩达机器学习（八）监督学习之朴素贝叶斯 Naive Bayes

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

贝叶斯算法根据概率，选择概率最大的一类。

1. 朴素贝叶斯算法

朴素贝叶斯（naive Bayes）采用了属性条件独立性假设：对已知类别，假设所有属性相互独立。

$$P(c\mid x)=\frac{P(c)P(x\mid c)}{P(x)}=\frac{P(c)}{P(x)}\prod _{i=1}^{d}P(x_i\mid c)$$

• $P(c)$：类先验概率，表达了各类样本所占比例，根据大数定律，可通过频率估计概率
• $P(x\mid c)$：样本$x$相对于类别$c$的条件概率，根据假设，每个属性独立对结果影响
• $P(x)$：归一化证据因子，与类别标记无关

朴素贝叶斯的判定准则为：
$$h_{nb}(x)=\arg \underset{c\in C}{\max }P(c)\prod _{i=1}^{d}P(x_i\mid c)$$
其中，$P(c)=\frac{|D_c|}{|D|}$，对于离散属性$P(x_i\mid c)=\frac{|D_{c,x_i}|}{|D_c|}$，对于连续属性采用概率密度函数。

若某个属性值没有与每个类同时出现，则会造成连乘计算为零，可采用拉普拉斯修正，令$N$表示训练集$D$中可能的类别数，$N_i$表示第$i$个属性可能的取值数目：
$$\begin{gathered} \hat{P}(c)=\frac{|D_c|+1}{|D|+N} \\ \hat{P}(x_i\mid c)=\frac{|D_{c,x_i}|+1}{|D_c|+N_i} \end{gathered}$$

2. 半朴素贝叶斯算法

半朴素意味着适当考虑一部分属性间的相互依赖信息。

2.1. ODE

ODE（One-Dependent Estimator）假设每个属性在类别之外最多依赖于一个其他属性。
$$P(c\mid x)\propto P(c)\prod _{i=1}^{d}P(x_i\mid c,p{a}_i)$$

2.2. SPODE

SPODE（Super-Parent ODE）是假设所有属性都依赖于同一个属性，称为“超父”。

可以通过交叉验证的方式确定超父。如下图所示（图源：机器学习）：

2.3. TAN

TAN（Tree Augmented naive Bayes）通过以下方式构建：

1. 计算任意两个属性之间的条件互信息$I(x_i,x_j\mid y)={\sum }_{x_i,x_j;c\in C}P(x_i,x_j\mid c)\log \frac{P(x_i,x_j\mid c)}{P(x_i\mid c)P(x_j\mid c)}$
2. 以属性为节点构建完全图，边的权重设置为$I(x_i,x_j\mid y)$
3. 构建最大带权生成树，挑选根变量，将边设置为有向
4. 加入类别节点$y$，增加从$y$到每个属性的有向边

2.4. AODE

AODE（Average One-Dependent Estimator）是基于集成学习的分类器，AODE尝试将每个属性作为超父构建SPODE，然后将具有足够训练数据支撑的SPODE集成起来。
$$P(c\mid x)\propto \sum _{i=1|D_{x_i}|⩾m^{\prime }}^{d}P(c,x_i)\prod _{j=1}^{d}P(x_j\mid c,x_i)$$

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~