超易懂！贝叶斯分类器原理

概率图系列

1.贝叶斯分类器

先验概率：没有任何观测值时候，完全根据经验来判断的概率

假设训练集一共有M个样本，N类。其中c类所占类别为$n_c$条，那么我们可以得到以下的先验概率：
$$对于c类别:P(c)=\frac{n_c}{M}$$

后验概率：观测了某个对象，该对象为某个类别的概率

假设我们观测了一个对象x，那么这个对象为c类别的概率为
$$P(c|x)$$
这个我们称之为后验概率

类条件概率：训练集中类C中出现X的概率

$$P(x|c)$$

注意，后验概率$P(c|x)$和类条件概率$P(x|c)$中的x是不一致的。值是一样，含义是不一样的。前者为预测的数据，后者为训练集中的数据。

核心公式：贝叶斯公式

$$P(c|x)=\frac{P(x,c)}{P(c)}=\frac{P(x|c)\cdot P(c)}{P(x)}$$

$P(c|x)$表示x被分类成C的概率（后验概率），$P(x,c)$表示x和c同时出现的联合概率，$P(c)$表示C类别在所有类别的概率（先验概率）。

$P(x)$表示样本x的全概率，所有类别中出现样本x的概率之和。
$$P(x)=\sum _i^{所有类别}P(x|c_i)\cdot P(c_i)$$
对于$P(c)$，是可以通过训练集中每个类别的比例得到的，是不变的。

对于$P(x)$，**在同一样本中是一样的。为什么要强调“同一样本中是一样”**的呢？

因为对于一条样本x，我们可以得到$P(c_1|x),P(c_2|x),...,P(c_n|x)$,在计算这些概率时，因为类别不同，它们的分子$P(x|c_i)$和$P(c_i)$是不同的。但。是分母$P(x)$是一定相同的，因为我们在计算时，**样本x**的所有特征都是不会变的！既然特征不会变，$P(x)$也就都是一样的。

我们正是通过贝叶斯公式构建贝叶斯分类器进行分类，对于贝叶斯分类原则，通常有两种分类方式：最小错误概率分类、最小损失风险分类。

最小错误概率分类：

假设一共有N个类别，要预测的变量为x。j为假定x最终分类的类别，i为假定x当前分类的类别。注意：j不一定是x的真实类别，这只是假定x在分类器中的最终分类出来的类别。

定义如下规则：
$${\lambda }_{ji}=\{\begin{array}{ll}0& j=i\\ 1& j!=i\end{array}$$
那么对于x的每一种分类情况，我们定义一个错误概率$P_j$

(可以理解为，假定x最终分类成j类别，那么这时的对于j类别的错误概率$P_j$就为其他类别的类条件概率加合)
$$P_j=\sum _{i=1}^N{\lambda }_{ji}P(c_i|x)$$
我们肯定希望错误概率$P$最小的类别作为判别类别，因此就有
$$j=\underset{j=1,...,N}{\mathrm{argmin}}{P}_j$$
做一个简单的变换
$$\begin{gathered} j=\underset{j=1,...,N}{\mathrm{argmin}}{P}_j \\ =\underset{j=1,...,N}{\mathrm{argmin}}(1-P(c_j|x)) \\ =\underset{j=1,...,N}{\mathrm{argmax}}(P(c_j|x)) \end{gathered}$$
因此，在所有的$P(c|x)$中，将x分到$P(c|x)$最大的类别中。下面是分类流程：

假设训练集为D，一共有N个类别

带入训练好的分类器中

训练集D

根据贝叶斯公式训练出贝叶斯分类器

要预测的样本x

分别得到C个类别对应的概率p_1,p_2,...,p_N

取这C个类别中最大的概率p_i,将样本x分成第i类

最小危险风险分类：

假设一共有M条样本（训练集），N个类别。定义如下的分类损失${\lambda }_{ji}$

${\lambda }_{ji}$	i=1	i=2	i=3	……	i=N
j=1	$a_{11}$	$a_{12}$	$a_{13}$		$a_{1N}$
j=2	$a_{21}$	$a_{22}$	$a_{23}$		$a_{2N}$
j=3	$a_{31}$	$a_{32}$	$a_{33}$		$a_{3N}$
……
j=N	$a_{41}$	$a_{42}$	$a_{43}$		$a_{4N}$

那么对于x的每一种分类情况，我们定义一个风险损失$R_j$
$$R_j=\sum _{i=1}^N{\lambda }_{ji}P(c_i|x)$$
我们肯定希望风险最小的类别作为判别类别，因此就有
$$j=\underset{j=1,...,N}{\mathrm{argmin}}{R}_j$$
看到这里，大家就会发现：最小错误概率分类和最小危险风险分类好像！

答案是：最小错误概率分类是最小危险风险分类的一个特例。原因是${\lambda }_{ji}$的取值

在最小错误概率分类中，${\lambda }_{ji}$为
$${\lambda }_{ij}=\{\begin{array}{ll}0& i=j\\ 1& i!=j\end{array}$$
换成表格的形式

${\lambda }_{ji}$	i=1	i=2	i=3	……	i=N
j=1	1	0	0	0	0
j=2	0	1	0	0	0
j=3	0	0	1	0	0
……	0	0	0	1	0
j=N	0	0	0	1	1

这样的话，最小危险风险$R_j={\sum }_{i=1}^N{\lambda }_{ji}P(c_i|x)$中的值就可以由纯概率组成，不会受到$\lambda$的干扰，因此我将其称作为最小错误概率$P_j$

除此之外，还有什么不同呢？当然有了！

最小错误概率分类之所以被称为最小错误概率分类，也是因为它只需要计算所有的$P(c|x)$然后取其中最大的一个就可以了。

而最小危险风险分类，则需要在计算所有的$P(c|x)$的基础上，再根据公式计算风险，然后取其中的最小。

因此我们可以得到很相似的流程图：

带入训练好的分类器中

训练集D

根据贝叶斯公式训练出贝叶斯分类器

要预测的样本x

分别得到C个类别对应的概率p_1,p_2,...,p_N

计算所有类别对应的危险风险R_1,R_2,...,R_N

取危险风险中最小的R_i，将x分到 i 类别中

总结：贝叶斯的分类流程很简单，我们还需要掌握的是上述流程图中的**“根据贝叶斯公式训练出贝叶斯分类器”**。

由于“最小错误概率”分类最为常用，因此下面的贝叶斯训练均以“最小错误概率”分类为分类准则。

训练原理：

贝叶斯公式：
$$P(c|x)=\frac{P(x,c)}{P(c)}=\frac{P(x|c)\cdot P(c)}{P(x)}$$
由贝叶斯公式我们可以看到，想要求$P(c|x)$,就必须知道$P(x|c),P(c),P(x)$

其中$P(c)$为先验概率，而对于$P(x)$，在预测时，对于每一条样本（预测数据）来说，在**“同一样本（预测数据）中”**是不变的。既然是不变的，那么在比较样本x的$P(c_1|x),P(c_2|x),...,P(c_n|x)$时，就可以简化成比较$P(x|c_1)\ast P(c_1),P(x|c_2)\ast P(c_2),...,P(x|c_n)\ast P(c_n)$

因此我们想要得到具体的分类，就必须去估计$P(x|c)$,这也正是贝叶斯分类器要训练的东西！

首先回忆以下$P(x|c)$是什么？

是类条件概率！那就可以理解为C类别上的X样本

那我们假设C类别上的X样本服从某种分布。有了分布，我们就可以得到对应的概率。

若这样的分布是离散的：则$P(x|c)$就为
$$P(x|c)=\frac{D_{c,x}}{D_c}$$
其中$D_c$ 是c类别的样本集合， $D_{c,x}$是在c类别的样本集合中，x的样本的个数。

若这样的分布是连续的呢？

那么现在有一个尴尬的问题，就是我们假设了这个分布，但是不知道这个分布的具体参数是什么,有了参数，我们才能得到准确的概率密度函数。那么就要进行参数估计（这也是贝叶斯分类器在训练时真正训练的东西，训练分布的参数取值）！

因此贝叶斯分类中采取了一个十分重要的参数估计原则：最大似然估计

最大似然估计：

x在C类别上是连续的，假设这个分布的概率密度函数为$f(x,\theta )$，$\theta$是未知参数。

则x的似然函数为：
$$L(\theta )=L(x;\theta )=f(x,\theta )$$
若存在$\hat{\theta }=\hat{\theta }(x)\in I(I是\theta 可能的取值范围)$,使
$$L(\hat{\theta })=maxf(x,\theta )$$
则称$\hat{\theta }(x)$为参数$\theta$的最大似然估计值。

比如，假设该分布为高斯分布，那么$\theta =[\mu ,\sigma ]$,$L(\theta )=L(\mu ,\sigma )$,估计的就是$\mu$和$\sigma$

在我们得到了参数$\hat{\theta }$后，我们会把$f(x,\hat{\theta })$作为$P(x|c)$，这样就可以得到$P(c|x)$的值啦

朴素贝叶斯

不知道大家注意到一个点没有，我在上文的描述通篇都在用“样本X”。这是为了让大家更好的理解，而使用的一个概念化的表达。在实际应用中，一个样本x肯定包含多个特征，也就是多维度的。那么贝叶斯公式中
$$\frac{P(x|c)\cdot P(c)}{P(x)}$$
中的$P(x|c),P(x)$到底要怎么计算呢？

假设样本x有m个特征：$x_1,x_2,...,x_m$

那么我们就会有$P(x_1|c),P(x_2|c),...,P(x_m|c)$，如果m个特征之间有相互关联的关系，那么它们与$P(x|c)$的计算会很复杂。

因此定义一个假设：假设所有特征相互独立

既然独立，那那么$P(x|c)$就可以表示为 ($P(x)同理推$)：
$$\prod _{i=1}^{m}P(x_i|c)$$
因此贝叶斯公式就变为
$$P(c|x)=\frac{P(c)}{P(x)}\cdot \prod _{i=1}^{m}P(x_i|c)$$
同理,在参数估计时

离散:

$$\begin{gathered} P(x_i|c)=\frac{D_{c,x_i}}{D_c} \\ P(x|c)=\prod _{i=1}^{m}P(x_i|c) \end{gathered}$$

连续:
$$\begin{gathered} L(\theta )=L(x_1,...,x_m;\theta )=\prod _{i=1}^{m}f(x_i;\theta ) \\ L(\hat{\theta })=max\prod _{i=1}^{m}f(x_i;\theta ) \end{gathered}$$

我们称在所有特征相互独立假设基础上的贝叶斯为朴素贝叶斯。

拉普拉斯修正

有没有这一种情况，在预测变量A中，有一个特征$A_i$,其取值$a_i$未在训练集中出现过。那么此时$P(A_i|c)=0$

这样的不合理的！因此我们要对上面的公式进行修正，一般采用“拉普拉斯修正”
$$P(c)=\frac{D_c+1}{D+N}$$
$D_c$表示C类在训练集中的数量，$D$表示训练集的总数量，N表示训练集$D$中可能的类别数
$$P(x_i|c)=\frac{D_{c,x_i}+1}{D_c+N_i}$$
$N_i$表示第$i$个特征可能的取值数。

拉普拉斯修正避免了因训练集样本不充分而导致概率估值为零的问题, 并且在训练集变大时，修正过程所引入的先验(prior)的影响也会逐渐变得可忽 略，使得估值渐趋向于实际概率值。

Sklearn中使用贝叶斯分类器

高斯朴素贝叶斯

GaussianNB,假设分布为高斯分布。
$$P(x_i|c)=\frac{1}{\sqrt{2\pi {\sigma }_c^2}}{e}^{\frac{-(x_i-{\mu }_c{)}^2}{2{\sigma }_c^2}}$$
参数${\mu }_c,{\sigma }_c$使用最大似然法估计

from sklearn import datasets#选取iris数据集
iris = datasets.load_iris()
from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
#训练
model = gnb.fit(iris.data, iris.target)
#预测
y_pre = model.predict(iris.data)

多项式朴素贝叶斯

MultionmialNB

服从多项分布数据的朴素贝叶斯算法，也是用于文本分类(这个领域中数据往往以词向量表示，尽管在实践中TF-IDF 向量在预测时表现良好)的两大经典朴素贝叶斯算法之一。

分布参数由每类 $C$ 的$\theta_C =(\theta_{c1},…,\theta_{cn}) $ 向量决定， 式中n是特征的数量(对于文本分类，是词汇量的大小) ${\theta }_{ci}$ 是样本中属于类c 中特征 i概率 $P(x_i,|c)$ 。

参数${\theta }_c$使用平滑过的最大似然估计法来估计，即相对频率计数:
$$\widehat{{\theta }_{ci}}=\frac{N_{ci}+\alpha }{N_c+\alpha n}$$
$N_{ci}={\sum }_{x\in D}{x}_i$ 是训练集D中特征i在类c中出现的次数,$N_c={\sum }_{i=1}^n{N}_{ci}$ 是类c中出现所有特征的计数总和。

先验平滑因子$\alpha >=0$ 为在学习样本中没有出现的特征而设计，以防在将来的计算中出现0概率输出。 把 $\alpha =1$被称为拉普拉斯平滑(Lapalce smoothing)，而 $\alpha <1$被称为Lidstone平滑方法(Lidstone smoothing)。

伯努利朴素贝叶斯

BernoulliNB实现了用于多重伯努利分布数据的朴素贝叶斯训练和分类算法，即有多个特征，但每个特征 都假设是一个二元 (Bernoulli, boolean) 变量。 因此，这类算法要求样本以二元值特征向量表示；如果样本含有其他类型的数据， 一个 BernoulliNB 实例会将其二值化(取决于 binarize 参数)。

伯努利朴素贝叶斯的决策规则基于:
$$P(x_i|c)=P(i|c)x_i+(1-P(i|c))(1-x_i)$$
与多项分布朴素贝叶斯的规则不同 伯努利朴素贝叶斯明确地惩罚类 c中没有出现作为预测因子的特征 i ，而多项分布分布朴素贝叶斯只是简单地忽略没出现的特征。

在文本分类的例子中，统计词语是否出现的向量(word occurrence vectors)(而非统计词语出现次数的向量(word count vectors))可以用于训练和使用这个分类器。 BernoulliNB 可能在一些数据集上表现得更好，特别是那些更短的文档。 如果时间允许，建议对两个模型都进行评估。

补充朴素贝叶斯

ComplementNB实现了补充朴素贝叶斯(CNB)算法。CNB是标准多项式朴素贝叶斯(MNB)算法的一种改进，特别适用于不平衡数据集。具体来说，CNB使用来自每个类的补数的统计数据来计算模型的权重。CNB的发明者的研究表明，CNB的参数估计比MNB的参数估计更稳定。此外，CNB在文本分类任务上通常比MNB表现得更好(通常有相当大的优势)。计算权重的步骤如下:

具体原理和公式不赘述，可以看看sklearn的官方文档。