朴素贝叶斯(Naive Bayes)

Reference:

1. Naive Bayes

相关文章：贝叶斯法则

Introduction

朴素贝叶斯方法是一组基于贝叶斯定理的有监督学习算法，该算法的"幼稚"假设是给定类变量值的每一对特征之间的条件独立性。通过贝叶斯定理，给出 类变量 $y$ 与 相关特征向量 $x_1$ 到 $x_n$ 的关系：
$$P\left(y\mid x_1,\dots ,x_n\right)=\frac{P(y)P\left(x_1,\dots ,x_n\mid y\right)}{P\left(x_1,\dots ,x_n\right)}$$

使用朴素条件独立假设：
$$P\left(x_i\mid y,x_1,\dots ,x_{i-1},x_{i+1},\dots ,x_n\right)=P\left(x_i\mid y\right)$$

对于所有 $i$，关系简化为：
$$P\left(y\mid x_1,\dots ,x_n\right)=\frac{P(y){\prod }_{i=1}^{n}P\left(x_i\mid y\right)}{P\left(x_1,\dots ,x_n\right)}$$

因为 $P\left(x_1,\dots ,x_n\right)$ 是给定常数，我们可以使用下面的分类规则：
$$\begin{array}{r}P\left(y\mid x_1,\dots ,x_n\right)\propto P(y){\prod }_{i=1}^{n}P\left(x_i\mid y\right)\\ \Downarrow \\ \hat{y}=\arg {\max }_{y}P(y){\prod }_{i=1}^{n}P\left(x_i\mid y\right)\end{array}$$
然后利用最大后验估计(Maximum A Posteriori MAP)估计来估计 $P(y)$ 和 $P\left(x_i\mid y\right)$；前者是类 $y$ 在训练集中出现的相对频率。

不同的朴素贝叶斯分类器的区别主要在于它们对分布 $P\left(x_i\mid y\right)$ 的假设。

尽管朴素贝叶斯分类器的假设明显过于简化，但它们在许多现实世界的情况下都工作得相当好，比如著名的文档分类和垃圾邮件过滤。它们需要少量的训练数据来估计必要的参数。(关于朴素贝叶斯的理论原因，以及它适用于哪些类型的数据，请参见下面的参考资料。)

与更复杂的方法相比，朴素贝叶斯学习器和分类器可以非常快。类条件特征分布的解耦意味着每个分布都可以独立地估计为一维分布。这反过来有助于缓解来自维度灾难的问题。

另一方面，虽然朴素贝叶斯被认为是一个不错的分类器，但它被认为是一个糟糕的估计器，所以来自 predict_proba 的概率输出不必太认真。

1. Gaussian Naive Bayes

GaussianNB 实现了用于分类的高斯朴素贝叶斯算法。假设特征的似然为高斯分布:
$$P\left(x_i\mid y\right)=\frac{1}{\sqrt{2\pi {\sigma }_y^2}}\exp \left(-\frac{{\left(x_i-{\mu }_y\right)}^2}{2{\sigma }_y^2}\right)$$

参数 ${\sigma }_y$ and ${\mu }_y$ 被用于估计最大似然。

2. Multinomial Naive Bayes

MultinomialNB 实现了多项分布数据的朴素贝叶斯算法，是文本分类中使用的两种经典朴素贝叶斯变体之一(在文本分类中，数据通常以单词向量计数表示，尽管 tf-idf 向量在实践中也很好用)。每个类别的分布由向量 ${\theta }_y=\left({\theta }_{y1},\dots ,{\theta }_{yn}\right)$ 对每个类别 $y$ 参数化，其中 $n$ 是特征的数量(在文本分类中，词汇量的大小)，${\theta }_{yi}$ 是特征 $i$ 出现在属于类别 $y$ 的样本中的概率 $P\left(x_i\mid y\right)$。

通过最大似然的平滑版本估计参数 ${\theta }_y$，即相对频率计数:
$${\hat{\theta }}_{yi}=\frac{N_{yi}+\alpha }{N_y+\alpha n}$$

其中 $N_{yi}={\sum }_{x\in T}{x}_i$ 为训练集 $T$ 中某类样本 $y$ 中出现特征 $i$ 的次数，$N_y={\sum }_{i=1}^n{N}_{yi}$ 为类 $y$ 所有特征的总数。

平滑先验 $\alpha \ge 0$ 解释了学习样本中不存在的特征，并防止在进一步的计算中出现零概率。设置 $\alpha =0$ 称为 Laplace 平滑，而 $\alpha <0$ 称为 Lidstone 平滑。

3. Complement Naive Bayes

ComplementNB 实现了互补朴素贝叶斯(CNB)算法。CNB 是标准多项朴素贝叶斯(MNB)算法的一种改编，特别适合于不平衡数据集。具体来说，CNB 利用每个类的补充数据来计算模型的权重。实验结果表明，与 MNB 相比，CNB 的参数估计更稳定。此外，在文本分类任务上，CNB 通常优于 MNB(通常有相当大的差距)。权重的计算过程如下:
$$\begin{array}{r}{\hat{\theta }}_{ci}=\frac{{\alpha }_i+{\sum }_{j:y_j\ne c}{d}_{ij}}{\alpha +{\sum }_{j:y_j\ne c}{\sum }_k{d}_{kj}}\\ w_{ci}=\log {\hat{\theta }}_{ci}\\ w_{ci}=\frac{w_{ci}}{{\sum }_j|w_{cj}|}\end{array}$$

其中，求和是对所有不在类 $c$ 中的文档 $j$ 进行的，$d_{ij}$ 是文档中术语的计数或 tf-idf 值，是一个平滑超参数，就像在 MNB 中发现的那样，且 $\alpha ={\sum }_i{\alpha }_i$。第二种归一化处理了较长的文件在 MNB 中主要参数估计数的趋势。
$$\hat{c}=\arg \underset{c}{\min }\sum _i{t}_i{w}_{ci}$$

也就是说，一个文档被赋给了 complement match 最差的类。