【贝叶斯分类2】朴素贝叶斯分类器

1. 贝叶斯决策论回顾

1.1 分类原理

  分类原理。$Y=\{c_1,c_2,...,c_N\}$ 有N种标记，${\lambda }_{ij}$ 是将一个真实标记为$c_j$ 的样本误分类为$c_i$ 所产生的损失。$R(c_i|x)$ 是将样本$x$ 分类为$c_i$ 所产生的期望损失（又叫样本$x$ 的条件风险）。我们已知了错误的分类标记$c_i$，我们的目的是求这个期望损失，并且要找最小。定义公式：$R(c_i|x)={\sum }_{j=1}^N{\lambda }_{ij}P(c_j|x).$ 例如: ${\lambda }_{ij}$ 分别为样本$\{x_1,x_2,...,x_j\}$ 误分类为$c_i$ 所产生的损失。$P(c_j|x)$ 分别为样本$\{x_1,x_2,...,x_j\}$ 事件发生对应的一个概率。

1.2 贝叶斯分类器

  贝叶斯分类器。我们利用上面的原理，有N种标记就有N种类别就可以分N类，$\{c_1,c_2,...,c_N\}$ 统称为$c$ 。“只要每个样本$x$ 的条件风险最小，只需在每个样本上选择那个能使条件风险$R(c|x)$ 最小的类别标记，这就是是贝叶斯判定准则”。贝叶斯最优分类器：$h^{\ast }(x)=argmi{n}_{c\in Y}R(c|x)$。

1.3 P(c|x)

  $h^{\ast }(x)=argma{x}_{c\in Y}P(c|x)$。证明：误判损失${\lambda }_{ij}=\{\begin{array}{lr}0& ，i=j\\ 1& ，其他\end{array}$，$R(c_i|x)={\sum }_{j=1}^N{\lambda }_{ij}P(c_j|x)$，$R(c_i|x)={\sum }_{j=1}^{N}P(c_j|x)且i\ne j$，${\sum }_{j=1}^{N}P(c_j|x)=1$，… …，最后得$R(c_{|}x)=1-P(c|x)$。

1.4 计算公式

  计算公式。$P(c|x)=\frac{P(c)P(x|c)}{P(x)}$，$P(c)$ 是类先验概率，$P(x|c)$ 是样本$x$ 相对于类标记$c$ 的类条件概率（又称为：“似然”），$P(x)$ 对所有类标记均相同。先验$P(c)$ 是样本空间中各类样本所占的比例。似然$P(x|c)$ 通过极大似然估计法计算。

1.5 极大似然估计

  极大似然估计。我们要求解$P(x|c)$，$D_c$ 表示训练集D 中第c 类样本组成的集合，这些样本独立且同分布。有似然公式：$P(D_c|c)={\prod }_{x\in D_c}P(x|c)$，连乘操作易造成下溢，一般取对数处理。$logP(D_c|c)$。要求解的是它的最大值。

2. 朴素贝叶斯分类器学习笔记

2.1 引言

  $h^{\ast }(x)=argma{x}_{c\in Y}P(c|x)$，$P(c|x)=\frac{P(c)P(x|c)}{P(x)}$，主要困难是求类条件概率$P(x|c)$，它是所有属性的联合概率（计算上将会遭遇组合爆炸问题；数据上将会遭遇缺失值）。朴素贝叶斯分类器：“对已知类别，假设所有属性相互独立。（属性条件独立性假设）”

2.2 知识卡片

	1. 朴素贝叶斯分类器：Naive Bayes classifier
	2. 又称：NB算法 

2.3 朴素贝叶斯分类器

• 计算类条件概率$P(x|c)$

d 为属性数目
$x_i$ 为$x$ 在第$i$ 个属性上的取值
$$P(x|c)=\prod _{i=1}^{d}P(x_i|c)$$

• 朴素贝叶斯分类器的表达式

知识回顾里讲了，对所有类别来说，P(x)相同
$$h_{nb}(x)=argma{x}_{c\in Y}P(c)\prod _{i=1}^{d}P(x_i|c)$$

• 计算先验概率$P(c)$

$$P(c)=\frac{|D_c|}{|D|}$$

• 计算类条件概率$P(x_i|c)$

（离散型）
$$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$$

（连续性）
$对于连续属性可考虑概率密度函数$
$两点、几何、二项、指数、泊松、正态分布等$

• 例子

【数据集D】

【先验概率$P(c)$】

$$P(好瓜=是)=\frac{8}{17}\approx 0.471$$

$$P(好瓜=否)=\frac{9}{17}\approx 0.529$$

【类条件概率$P(x_i|c)$】

【朴素贝叶斯分类器】

因为，$0.038$ > $6.80\times 10^{-5}$

$$朴素贝叶斯分类器将测试样本"测1"判别为"好瓜"$$

2.4 拉普拉斯平滑

• 问题引出
    实际中肯定会遇到，比如：属性为“敲声=清脆”的有8个样本，但这8个样本的类别是“好瓜”的没有。所以有：$P_{清脆|是}=P(敲声=清脆|好瓜=是)=\frac{0}{8}=0$，当作连乘处理时，无论该样本的其他属性是什么，哪怕在其他属性上明显像好瓜，分类的结果都将是“好瓜=否”，显然不太合理。

• 拉普拉斯平滑
    分子加一，分母加K，K代表类别数目。

• 例子

3. 朴素贝叶斯分类器拓展

3.1 数据处理

  在现实任务中朴素贝叶斯分类器有多种使用方式。
  例如，若任务对预测速度要求较高，则对给定训练集，可将朴素贝叶斯分类器涉及的所有概率估值事先计算好存储起来，这样在进行预测时只需"查表"即可进行判别；
  若任务数据更替频繁，则可采用“懒惰学习” (lazy learning) 方式，先不进行任何训练，待收到预测请求时再根据当前数据集进行概率估值；
  若数据不断增加，则可在现有估值基础上，仅对新增样本的属性值所涉及的概率估值进行计数修正即可实现增量学习。

3.2 收集其他资料

【朴素贝叶斯分类器的核心】

$$h^{\ast }(x)=argma{x}_{c\in Y}P(c|x)，P(c|x)=\frac{P(c)P(x|c)}{P(x)}$$

$$P(类别|特征)=\frac{P(类别)P(特征|类别)}{P(特征)}$$

【朴素贝叶斯分类器的优缺点】

- "优点："
	1. 算法逻辑简单,易于实现
	2. 分类过程中时空开销小

- "缺点："
	1. 因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的。
	2. 在属性个数比较多或者属性之间相关性较大时，分类效果不好。

- "解决："
	1. 对于nb算法的缺点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

【贝叶斯网络】

贝叶斯网络百科