贝叶斯分类器——机器学习(周志华)

贝叶斯分类器

贝叶斯决策论

贝叶斯决策论是概率框架下实施决策的基本方法。

假设有N中可能的类别标记，即$\mathcal{Y}=\{c_1,c_2,...,c_N\},{\lambda }_{ij}$是将一个真实标记的$c_j$的样本误分类成$c_i$所产生的损失。基于后验概率$P(c_i|\mathbf{x})$可获得将样本$\mathbf{x}$分类成$c_i$所产生的期望损失，即样本$\mathbf{x}$上的“条件风险”。
$$R(c_i|\mathbf{x})=\sum _{j=1}^N{\lambda }_{ij}P(c_j|\mathbf{x})$$

• 我们的任务是找到一个判定准则$h:\mathcal{X}->\mathcal{Y}$以最小化总体方差。
  $$R(h)=\mathbb{E}[R(h(\mathbf{x})|\mathbf{x})]$$

• 对于每个样本$\mathbf{x}$，若$h能最小化条件风险R(h(\mathbf{x})|\mathbf{x})，则总体风险R(h)也将被最小化。$这就产生了贝叶斯判定准则: 为最小化风险，只需在每个样本上选择那个能使条件风险$R(c|\mathbf{x})$最小的类别标记。
  $$h^{\ast }(\mathbf{x})=arg\underset{c\in \mathcal{Y}}{\min }R(c|\mathbf{x})$$

$h^{\ast }被称为贝叶斯最优分类器，R(h^{\ast })称为贝叶斯风险。1-R(h^{\ast })反映了分类器所能达到的最好性能。$

• 若目标是最小化分类错误率，误判损失${\lambda }_{ij}$可写为：
  $${\lambda }_{ij}=\{\begin{array}{ll}0,& ifi=j;\\ 1,& otherwise,\end{array}$$

• 此时条件风险：
  $$R(c|\mathbf{x})=1-P(c|\mathbf{x})$$

• 于是，最小化分类错误率的贝叶斯最优分类器为：
  $$h^{\ast }(\mathbf{x})=arg\underset{c\in \mathcal{Y}}{\max }P(c|\mathbf{x})$$

即对每个样本$x$， 选择能使后验概率$P(c|\mathbf{x})$最大的类别标记.
主要有两种策略:给定$x$， 可通过直接建模$P(c|\mathbf{x})$ 来预测$c$，这样得到的是"判别式模型" (discriminative models); 也可先对联合概率分布$P(\mathbf{x},c)$建模，然后再由此获得$P(c|\mathbf{x})$ ， 这样得到的是"生成式模型" (generative models) 显然，前面介绍的决策树、BP 神经网络、支持向量机等，都可归入判别式模型的范畴。

• 对生成式模型来说，必然考虑
  $$P(c|\mathbf{x})=\frac{P(\mathbf{x},c)}{P(\mathbf{x})}$$

• 基于贝叶斯定理：
  $$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}$$

$P(c)是类"先验"(prior)概率;表达了各类样本所占的比例$
$P(\mathbf{x}|c)是样本x相对于类标记c的类条件概率(class-conditionalprobability)，或称为"似然"(likelihood)$;
$P(\mathbf{x})是用于归一化的"证据"(evidence)因子$

最大似然估计（MLE）

估计类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计，记关于类别$c$ 的类条件概率为$P(\mathbf{x}|c)$ ， 假设$P(\mathbf{x}|c)$ 具有确定的形式并且被参数向量。$c$ 唯一确定，则我们的任务就是利用训练集$D$ 估计参数${\theta }_c$. 为明确起见，我们将$P(\mathbf{x}|c)记为P(\mathbf{x}|{\theta }_c)$。

• 令$D_C$表示训练集$D$中第c类样本组成的集合，假设这些样本是独立同分布的，则参数${\mathbf{\theta }}_c$对于数据集$D_C$的依然是：
  $$P(D_c|{\mathbf{\theta }}_c)={\Pi }_{\mathbf{x}\in D_c}P(\mathbf{x}|{\mathbf{\theta }}_c)$$

对${\theta }_c$ 进行极大似然估计，就是去寻找能最大化似然$P(D_c|{\theta }_c)$的参数值${\theta }_c$ ，直观上看，极大似然估计是试图在${\theta }_c$ 所有可能的取值中，找到一个能使数据出现的"可能性"最大的值。

• 连乘操作容易造成下溢，通常使用对数似然
  $$\begin{gathered} LL({\mathbf{\theta }}_c)=logP(D_c|{\mathbf{\theta }}_c) \\ =\sum _{\mathbf{x}\in D_c}logP(\mathbf{x}|{\mathbf{\theta }}_c) \end{gathered}$$

• 参数${\mathbf{\theta }}_c$的极大似然估计${\mathbf{\theta }}_c$为：
  $${\mathbf{\theta }}_c=arg\underset{{\mathbf{\theta }}_c}{\max }LL({\mathbf{\theta }}_c).$$

• 再连续属性情形下，假设概率密度函数$p(\mathbf{x}|c)\sim \mathcal{N}({\mathbf{\mu }}_c,{\mathbf{\sigma }}_c^2)$，对参数${\mathbf{\mu }}_c,{\mathbf{\sigma }}_c^2$的极大似然估计是：
  $$\begin{gathered} {\mathbf{\mu }}_c=\frac{1}{|D_c|}\sum _{\mathbf{x}\in D_c}\mathbf{x} \\ {\mathbf{\sigma }}_c^2=\frac{1}{|D_c|}\sum _{\mathbf{x}\in D_c}(\mathbf{x}-{\mathbf{\mu }}_c)(\mathbf{x}-{\mathbf{\mu }}_c{)}^T \end{gathered}$$

朴素贝叶斯分类

基于贝叶斯公式来估计后验概率$P(c|\mathbf{x})$的主要k困难在于：类条件概率$P(\mathbf{x}|c)$是所有属性上的联合概率，难以从有限的训练样本直接估计而得。为避开这个障碍，朴素贝叶斯分类器(naÏve Bayes classifier) 采用了"属性条件独立性假设" (attribute conditional i时ependence assu’mption)： 对已知类别，假设所有属性相互独立。换言之，假设每个属性独立地对分类结果发生影响.

• 基于属性条件独立性假设
  $$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}{\Pi }_{i=1}^{d}P(x_i|c)$$

$d$为属性数目，$x_i$为$\mathbf{x}$再第i个属性上的取值

• 基于贝叶斯判定准则，朴素贝叶斯分类器的表达式为：
  $$h_{nb}(\mathbf{x})=arg\underset{c\in \mathcal{Y}}{\max }P(c){\Pi }_{i=1}^{d}P(x_i|c)$$

令$D_c$表示训练集$D$中第c类样本组成的集合，则先验概率：$P(c)=\frac{|D_c|}{D}$
对于离散属性，令$D_{c,x_i}$表示$D_c$中第i个属性上取值为$x_i$的样本组成的集合：$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$
对于连续属性可考虑概率密度函数，假定$p(x_i|c)\sim \mathcal{N}({\mu }_{c,i},{\sigma }_{c,i}^2)$，其中${\mu }_{c,i},{\sigma }_{c,i}^2$分别是第$c$类样本再第$i$个属性上取值的均值和方差：$p(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}exp(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2})$

例子
用西瓜数据集3.0训练一个朴素贝叶斯分类器，对测试集进行分类：

训练集

测试集

• 首先估计类先验概率$P(c)$:
  

• 为每个属性估计条件概率$P(x_i|c)$
  

• 于是有：
  

由于$0.038>6.80\ast 10^5$， 因此朴素贝叶斯分类器将测试样本判为"好瓜"。

拉普拉斯修正

但是有这样一种情况，若某个属性值再训练集中没有与某个类同时出现过，直接计算会出现问题，如：

如果连乘，则结果必定为0，因此无论什么属性，都会将好瓜分类错误。

• 为了避免这种情况，在估计概率值时通常要进行"平滑"，常用"拉普拉斯修正"：
  $$\begin{gathered} P(c)=\frac{|D_c|+1}{|D|+N} \\ P(x_i|c)=\frac{|D_{c,x_i}|+1}{|D_c|+N_i} \end{gathered}$$

$N表示训练集D可能的类别数，N_i表示第i个属性可能的取值数$

EM算法

在前面的讨论中，我们一直假设训练样本所有属性变量的值都已被观测到，即训练样本是"完整"的.但在现实应用中往往会遇到"不完整"的训练样本，例如由于西瓜的根蒂己脱落，无法看出是"蜷缩"还是"硬挺"，则训练样本的"根蒂"属性变量值未知.在这种存在"未观测"变量的情形下，是否仍能对模型参数进行估计呢?

未观测变量的学名是"隐变量" (latent variable).

1. EM算法理论公式
2. EMs算法通俗实例
3. EM论文
4. EM python实战
5. 如何感性地理解EM算法