【AI】机器学习——朴素贝叶斯

用于解决分类问题：将连续取值输入映射为离散取值的输出

解决分类问题的依据是数据的属性

• 利用后验概率选择最佳分类，后验概率通过贝叶斯定理求解
• 朴素贝叶斯假定所有属性相互独立，基于这一假设将类条件概率转化为属性条件概率的乘积
• 朴素贝叶斯方法可以使期望风险最小化
• 影响朴素贝叶斯分类的是所有属性之间的依赖关系在不同类别上的分布

2.1 贝叶斯定理

2.1.1 贝叶斯公式推导

条件概率

引例

3张抽奖券，1个中奖券，最后一名与第一名抽中奖概率相同

$Y$ ：抽中，$N$ ：未抽中 ,$\Omega =\{YNN,NYN,NNY\}$ ，$A_i$ 事件表示第 $i$ 名抽中

$P(A_3)=\frac{|A_3|}{|\Omega |}=\frac{1}{3}$

$P(A_1)=\frac{|A_1|}{|\Omega |}=\frac{1}{3}$

上例中，若已知第一名未抽中，求第三名抽中概率，则：

第一名未抽中 $B=\{NYN,NNY\}$

第二名抽中 $A_2=\{NNY\}$

$P(A_2|B)=\frac{1}{2}$

---

分析：样本空间变了，目标样本数量不变

事件B发生条件下，有事件A发生 $⟺$ 事件AB同时发生，样本空间为B

求解：

$P(A|B)=\frac{P(AB)}{P(B)}⟺\frac{n(AB)/n(\Omega )}{n(B)/n(\Omega )}=\frac{P(AB)}{P(B)}$

---

eg

掷硬币，100个中有99个正常HT，一个HH。投出去是正面，该硬币是异常硬币的概率

A表示异常硬币的概率，B表示掷出正面的概率

• $P(A|B)=\frac{异常硬币正面}{n(硬币正面)}=\frac{2}{101}$

• $P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}=\frac{2}{101}$

变式

乘法原理 ：$P(AB)=P(A)P(B)$

全概率公式 ：

$$P(B)=P(A_1\bigcap B)+\cdots +P(A_n\bigcap B)=P(A_1)P(B|A_1)+\cdots +P(A_n)P(B|A_n)$$

贝叶斯公式

对于条件概率 $P(A_i|B)$ 有
$$P(A_i|B)=\frac{P(A_{i}B)}{P(B)}=\frac{P(B|A_i)P(A_i)}{P(B)}=\frac{P(B|A_i)P(A_i)}{\sum _{j=1}^{n}P(B|A_j)P(A_j)}$$

2.1.2 贝叶斯定理

$$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$$

• $P(Y|X)$ ：后验概率
• $P(Y)$ ：先验概率
• $P(X|Y)$ ：似然概率

2.1.3 贝叶斯决策

在不完全的情报下，对部分未知状态 $P(Y|X)$ 用主观概率 $P(Y)$ 估计，然后用贝叶斯公式对发生概率修正

利用期望风险与修正概率做出最优决策

基本思想

1. 已知的样本密度 $P(X)$ 和先验概率 $P(Y)$

   样本密度可由全概率公式求得，$P(X)=\sum _{i}P(X|Y_i)P(Y_i)$

2. 利用贝叶斯公式转化为似然概率
   $$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$$

3. 根据后验概率的大小，进行决策分类

eg

由统计，大约 $0.1\%$ 感染AIDS，所有感染者检测为阳性，有 $1\%$ 未感染者误检测为阳性，若某人检测结果为阳性，求检测阳性确定感染的概率

用 $Y=1$ 表示感染，$X=1$ 表示检测阳性

由于 $0.1\%$ 的人感染，在已知感染情况下检测必为阳性 $P(X=1|Y=1)$
$$P(Y=1|X=1)=\frac{P(X=1|Y=1)P(Y=1)}{P(X=1)}=\frac{1\times 0.001}{1\times 0.001+0.01\times 0.999}$$

---

第二轮检测中，$90\%$ 感染者为阳性，$5\%$ 未感染者为阳性，求误诊率

$P(X_1=1)$ 表示第一轮检测为阳性的概率；$P(X_2=1)$ 表示第二轮检测为阳性的概率

由补充题设可知，$P(X_2|Y=1)=0.9,P(X_2|Y=0)=0.05$
$$P(Y=0|X_1=1,X_2=1)=\frac{P(X_1=1,X_2=1|Y=0)\cdot P(Y=0)}{P(X_1=1,X_2=1)}表示误诊率$$
其中，先验概率 $P(Y=0)=0.999$

由全概率公式
$$\begin{array}{rl}P(X_1=1,X_2=1)& =P(X_1=1,X_2=1|Y=0)\cdot P(Y=0)\\ & +P(X_1=1,X_2=1|Y=1)\cdot P(Y=1)\end{array}$$

$$\begin{gathered} P(X_1=1,X_2=1|Y=0)\stackrel{条件独立性假设}{}P(X_1=1|Y=0)\cdot P(X_2=1|Y=0)=0.01\times 0.05 \\ P(X_1=1,X_2=1|Y=1)\stackrel{条件独立性假设}{}P(X_1=1|Y=1)\cdot P(X_2=1|Y=1)=1\times 0.9 \end{gathered}$$

2.2 朴素贝叶斯

2.2.1 朴素贝叶斯分类器思想

朴素贝叶斯分类器假定样本的不同属性满足条件独立性假设

其基本思想：分析待分类样本出现在每个输出类别的后验概率 $P(Y|X)$ ，并将取得最大后验概率的类别作为输出

假设训练数据的属性由 $n$ 维随机变量 $X$ 表示，其分类结果用随机变量 $Y$ 表示，那么 $X$ 和 $Y$ 的统计规律就可以用联合概率分布 $P(X,Y)$ 表示，每一个具体的样本 $(x_i,y_i)$ 都可以由 $P(X,Y)$ 独立同分布生成——生成学习
$$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(Y)\cdot P(X|Y)}{P(X)}$$
$P(Y)$ 表示每个类别出现的概率，也就是类 先验概率

• 先验概率容易根据训练数据计算出来，只需要分别统计不同类别样本的数量即可

$P(X|Y)$ 表示在给定的类别下不同属性出现的概率，即类似然概率

• 似然概率受属性值的影响

2.2.2 条件独立性对似然概率计算的影响

如果每个样本包含 100 个属性，每个属性取值可能有 100 种，那么对分类的每个结果，要计算的条件概率数目就是 $100^{100}$ ，对似然概率的精确估计就需要庞大的计算量

在条件独立性假设的前提下，保证了所有属性相互独立，互不影响。每个属性独立地对分类结果发生作用，即
$$\begin{gathered} P(X=x|Y=c_k)=P\left(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdots ,X^{(m)}=x^{(m)}|Y=c_k\right) \\ \stackrel{所有属性相互独立}{}\prod _{j=1}^{m}P(X^{(j)}=x^{(j)}|Y=c_k) \end{gathered}$$
在条件独立性假设下，将类条件概率转化为属性条件概率的乘积

在没有条件独立性假设的情况下，每个样本分类结果 $y$ 只能刻画所有属性 $X^{(1)},X^{(2)},\cdots ,X^{(m)}$ 形成的整体，且只有具有相同属性的样本才能放在一起评价

• 当属性数目较多而样本数目较少时，要让 $m$ 个属性取到相同特征就有些牵强

有了条件独立性假设后，分类结果 $y$ 就相当于实现了 $m$ 重复用。每个样本既可以用于刻画 $X^{(1)}$ ，又可以刻画 $X^{(n)}$ ，

• 无形中将训练样本的数量扩大为原先的 $m$ 倍

分析每个属性取值对分类结果的影响时，也有更多的数据作为支撑

---

条件独立性假设是一个很强的假设，导致对数据的过度简化，因而对性能带来些许影响。但由于其极大简化分类问题计算复杂度的能力，性能上做部分折衷也并非不能接受

2.2.3 基本方法

1. 求先验概率分布 $P(Y=c_k),k=1,2,\cdots ,K$

2. 求似然概率分布
   $$\begin{array}{rl}P(X|Y=c_k)& =P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdots ,X^{(m)}=x^{(m)}|Y=c_k)\\ & \stackrel{实际}{}P(X^{(2)}=x^{(2)},\cdots ,X^{(m)}=x^{(m)}|X^{(1)}=x^{(1)},Y=c_k)P(X^{(1)}=x^{(1)})\\ & =P(X^{(3)}=x^{(3)},\cdots ,X^{(m)}=x^{(m)}|X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},Y=c_k)P(X^{(1)}=x^{(1)})P(X^{(2)}=x^{(2)})\\ & \stackrel{朴素贝叶斯iid}{}P(X^{(1)}=x^{(1)}|Y=c_k)P(X^{(2)}=x^{(2)}|Y=c_k)\cdots P(X^{(m)}=x^{(m)}|Y=c_k)\\ & =\prod _{j=1}^{m}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$

3. 由贝叶斯定理计算
   $$\begin{array}{rl}P(Y=c_k|X)& =\frac{P(X|Y=c_k)P(Y=c_k)}{P(X)}=\frac{P(X|Y=c_k)P(Y=c_k)}{\sum _{k=1}^{K}P(X|Y=c_k)P(Y=c_k)}\\ & =\frac{P(Y=c_k)\prod _{j=1}^{m}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum _{k=1}^{K}P(Y=c_k)\prod _{j=1}^{m}P(X^{(j)}=x^{(j)}|Y=c_k)}\end{array}$$

2.2.4 模型

$$\begin{array}{rl}y=\hat{f}(X)& =arg\underset{c_k}{\max }P(Y=c_k|X)\\ & =arg\underset{c_k}{\max }\frac{P(Y=c_k)\prod _{j=1}^{m}P(X^{(j)}=x^{(j)}|Y=c_k)}{P(X)}\\ & \propto arg\underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{m}P(X^{(j)}=x^{(j)}|Y=c_k)\end{array}$$

有了训练数据，先验概率 $P(Y)$ 和似然概率 $P(X|Y)$ 就可被视为已知条件，进而可用于求解后验概率 $P(Y|X)$ 。

对于给定的输入 $X$ ，朴素贝叶斯分类器就可以利用贝叶斯定理求解后验概率，并将后验概率最大的类作为输出

由于所有的后验概率求解中，边界概率 $P(X)$ 都是相同的，因而其影响可忽略，有朴素贝叶斯分类器的数学表达式
$$y\propto arg\underset{c_k}{\max }P(Y=c_k)\cdot \prod _j^{m}P(X^{(j)}=x^{(j)}|Y=c_k)$$

后验概率最大化

朴素贝叶斯将实例分到后验概率最大的类中，等价于 期望风险最小化策略

损失函数

$$L(Y,f(X))=\{\begin{array}{ll}1& ,Y\ne \hat{f}(X)\\ 0& ,Y=\hat{f}(X)\end{array}$$

期望风险
$$\begin{array}{rl}{R}_{exp}(f)& =E[L(Y,f(X))]\\ & ={\int }_{\mathcal{X}\mathcal{Y}}L(y,\hat{f}(x))\cdot P(x,y)dxdy\\ & =\sum _{k=1}^{{}^K}[L(y,\hat{f}(x))\cdot P(y|x)]\end{array}$$

期望风险最小化策略

$$\begin{array}{rl}f(X)& =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{{}^K}[L(y=c_k,\hat{f}(x))\cdot P(y|x)]\\ & =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^{K}P(y\ne c_k|x)\\ & =arg\underset{y\in \mathcal{Y}}{\min }\sum _{k=1}^K[1-P(y=c_k|x)]\\ & =arg\underset{y\in \mathcal{Y}}{\max }\sum _{k=1}^{K}P(y=c_k|x)\end{array}$$

由 期望风险最小化策略 变为 后验概率最大化策略

2.2.5 朴素贝叶斯估计离散特征

意味着用频率对 先验概率 $P(Y=c_k)$ ，似然概率 $P(X^{(j)}=x^{(j)}|Y=c_k)$ 做出估计

其中，

先验概率 $P(Y=c_k)=\frac{\sum _{i=1}^{n}I(y_i=c_k)}{n},k=1,\cdots ,K$

似然概率 $P(X^{(j)}=x^{(j)}|Y=c_k)$ 可用极大似然估计
$$\begin{array}{rl}P(X^{(j)}=x^{(j)}|Y=c_k)& =\frac{P(X^{(j)}=x^{(j)},Y=c_k)}{P(Y=c_k)}\\ & =\frac{\frac{\sum _{i=1}^{n}I(X_i^{(j)}=x^{(j)},y_i=c_k)}{n}}{\frac{\sum _{i=1}^{n}I(y_i=c_k)}{n}}\\ & =\frac{I(X_i^{(j)}=x^{(j)},y_i=c_k)}{\sum _{i=1}^{n}I(y_i=c_k)},特征j=1,2，\cdots ,m;k=1,\cdots ,K\end{array}$$

学习算法

输入：训练数据 $T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)\}$ ，其中

• 假设 $P(X,Y)$ 是X，Y的联合概率分布，样本 $(x_i,y_i)$ 由 $P(X,Y)$ 独立同分布产生

x i = ( x i ( 1 ) x i ( 2 ) ⋮ x i ( j ) ⋮ x i ( m ) ) ∈ X ⊆ R m , y i ∈ Y = { c 1 , c 2 , ⋯   , c k } i = 1 , 2 , ⋯   , n ; j = 1 , 2 , ⋯   , m x i ( j ) ∈ { a j 1 , a j 2 , ⋯   , a j s j } , a j l 为第 j 个特征的可能取值， l = 1 , 2 , ⋯   , s j x_i=\left( \begin{aligned} &x_i^{(1)}\\ &x_i^{(2)}\\ &\vdots\\ &x_i^{(j)}\\ &\vdots\\ &x_i^{(m)} \end{aligned} \right)\in \mathcal{X}\subseteq R^m,y_i\in\mathcal{Y=} \{c_1,c_2,\cdots,c_k\}\\ i=1,2,\cdots,n;j=1,2,\cdots,m\\ x_i^{(j)}\in \{a_{j1},a_{j2},\cdots,a_{js_j}\},a_{jl}为第j个特征的可能取值，l=1,2,\cdots,s_j xi​= ​​xi(1)​xi(2)​⋮xi(j)​⋮xi(m)​​ ​∈X⊆Rm,yi​∈Y={c1​,c2​,⋯,ck​}i=1,2,⋯,n;j=1,2,⋯,mxi(j)​∈{aj1​,aj2​,⋯,ajsj​​},ajl​为第j个特征的可能取值，l=1,2,⋯,sj​

输出：$x$ 的分类 $c_k$

步骤：

1. 计算先验与似然概率

   先验概率 $P(Y=c_k)=\frac{\sum _{i=1}^{n}I(y_i=c_k)}{n},k=1,\cdots ,K$
   $$\begin{array}{rl}似然概率P(X^{(j)}=a_{jl}|Y=c_k)& =\frac{P(X^{(j)}=a_{jl},Y=c_k)}{P(Y=c_k)}\\ & =\frac{I(X_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{n}I(y_i=c_k)}\\ & j=1,2,\cdots ,nl=1,2,\cdots ,s_{j}k=1,2,\cdots ,K\end{array}$$

2. 给定样本 $x$ ，计算
   $$P(Y=c_k|X)\propto P(Y=c_k)\cdot \prod _j^{m}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,\cdots ,K$$

3. 确定实例 $x$ 的类
   $$\begin{array}{rl}y& =arg\underset{c_k}{\max }P(Y=c_k)\cdot \prod _j^{m}P(X^{(j)}=x^{(j)}|Y=c_k),k=1,2,\cdots ,K\\ & =arg\underset{c_k}{\max }\frac{\sum _{i=1}^{n}I(y_i=c_k)}{n}\prod _{j=1}^m\frac{I(X_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{n}I(y_i=c_k)}\end{array}$$

2.3 朴素贝叶斯分类器分析

朴素贝叶斯是一种非常高效的方法。当以分类的正确与否作为误差指标时，只要朴素贝叶斯分类器能够把最大的后验概率找到，就意味着分类正确。至于最大后验概率的估计值是否精确，就不重要了

• 对于一个2分类问题，在一个实例上两个类别的最大后验概率分别是 0.9和0.1，朴素贝叶斯分类器估计出的后验概率就可能是0.6和0.4。由于大小相对关系没有改变，按照估计的后验概率分类，仍然能得到正确的结果

2.3.1 条件独立性假设分析

如何解释独立性假设在几乎不成立的情况下，朴素贝叶斯分类器在大多数分类任务中体现出优良特性？

影响朴素贝叶斯的分类的是所有属性之间的依赖关系在不同类别上的分布，而不是依赖关系本身

• 在给定训练数据集上，两个属性之间可能具有相关性，但在每个类别上都以相同的程度体现，这种情况下不会破坏贝叶斯分类器的最优性
• 即使这种分布式不均匀的，当所有属性之间的依赖关系一起发挥作用时，他们就可能相互抵消，不再次影响分类

2.3.2 期望风险最小化

在应用朴素贝叶斯分类器处理连续性属性数据时，通常假定属性数据满足正态分布，再根据每个类别下的训练数据计算出正态分布的均值和方差

从模型最优化角度观察，朴素贝叶斯分类器是平均意义上预测能力最优的模型，也就是使得 期望风险最小化

• 期望风险：风险函数的数学期望，度量平均意义下模型预测的误差特性。

  可视为单次预测误差在联合概率分布 $P(X,Y)$ 上的数学期望

期望风险最小化 $⟺$ 后验概率最大化

朴素贝叶斯分类器通过将实例分配到后验概率最大的类中，也就是让 $1-P(Y|X)$ 最小。

在以分类错误的是 实例数作为误差时，期望风险就等于 $1-P(Y|X)$

2.3.3 拉普拉斯平滑

为了避免属性携带的信息被训练过程中未出现的属性值所干扰，在计算属性条件概率时，添加一个 拉普拉斯平滑 的步骤

• 受到训练集规模的限制，某些属性的取值训练集中可能从未与某个类同时出现，导致属性的条件概率为0，进而使似然概率为0，使分类产生偏差

先验概率 $P_{\lambda }(Y=c_k)=\frac{\sum _{i=1}^{n}I(y_i=c_k)+\lambda }{n+K\lambda },k=1,\cdots ,K$

似然概率 $P(X^{(j)}=a_{jl}|Y=c_k)=\frac{I(X_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{n}I(y_i=c_k)+s_j\lambda }$

• $\sum _{l=1}^{s_j}P(X^{(j)}=a_{jl}|Y=c_k)=\sum _{l=1}^{s_j}\frac{I(X_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{n}I(y_i=c_k)+s_j\lambda }=1$

2.4 应用

比赛结果预测

垃圾邮件过滤

分类：$y\in \{0,1\}$ 表示是否为垃圾邮件；1表示垃圾邮件，0表示正常邮件

用词汇表向量 $x\in \{0,1{\}}^{50000}$ 表示词汇表中的50000个词是否出现在邮件中

先验概率 $P(y=1)=\frac{\sum _{i=1}^{n}I(y_i=1)}{n}$

$$\begin{array}{rl}P(Y|X^{\prime })& =\frac{P(X^{\prime }|Y)P(Y)}{\sum _{i}P(X^{\prime }|Y)P(Y)}\\ P(y=1|x^{\prime })& =\frac{P(x^{\prime }|y=1)P(y=1)}{P(x^{\prime }|y=1)P(y=1)+P(x^{\prime }|y=0)P(y=0)}\propto P(x^{\prime }|y=1)P(y=1)\\ P(x^{\prime }|y=1)& =P(x^{(1)},x^{(2)},\cdots ,x^{(50000)}|y=1)\stackrel{朴素贝叶斯条件独立性假设}{}\prod _{i=1}^{50000}P(x^{(i)}|y=1)\end{array}$$

对于似然概率 $P(x^{(i)}|y=1)=\frac{\sum _{j=1}^{n}I(y_j=1\wedge x^{(i)}=1)}{\sum _{k=1}^{n}I(y_k=1)}$

∴ P ( y = 1 ∣ x ′ ) ∝ P ( x ′ ∣ y = 1 ) P ( y = 1 ) [ ∏ i = 1 50000 ∑ j = 1 n I ( y j = 1 ∧ x ( i ) = 1 ) ∑ j = 1 n I ( y j = 1 ) ] ⋅ ∑ i = 1 n I ( y i = 1 ) n = p 1 P ( y = 0 ∣ x ′ ) ∝ P ( x ′ ∣ y = 0 ) P ( y = 0 ) [ ∏ i = 1 50000 ∑ j = 1 n I ( y j = 0 ∧ x ( i ) = 1 ) ∑ j = 1 n I ( y j = 0 ) ] ⋅ ∑ i = 1 n I ( y i = 0 ) n = p 0 \therefore P(y=1\vert x')\propto P(x'\vert y=1)P(y=1)\left[\prod\limits_{i=1}^{50000}\frac{\sum\limits_{j=1}^nI(y_j=1\land x^{(i)}=1)}{\sum\limits_{j=1}^nI(y_j=1)}\right]\cdot \frac{\sum\limits_{i=1}^nI(y_{i}=1)}{n}=p_1\\ P(y=0\vert x')\propto P(x'\vert y=0)P(y=0)\left[\prod\limits_{i=1}^{50000}\frac{\sum\limits_{j=1}^nI(y_j=0\land x^{(i)}=1)}{\sum\limits_{j=1}^nI(y_j=0)}\right]\cdot \frac{\sum\limits_{i=1}^nI(y_{i}=0)}{n}=p_0\\ ∴P(y=1∣x′)∝P(x′∣y=1)P(y=1) ​i=1∏50000​j=1∑n​I(yj​=1)j=1∑n​I(yj​=1∧x(i)=1)​ ​⋅ni=1∑n​I(yi​=1)​=p1​P(y=0∣x′)∝P(x′∣y=0)P(y=0) ​i=1∏50000​j=1∑n​I(yj​=0)j=1∑n​I(yj​=0∧x(i)=1)​ ​⋅ni=1∑n​I(yi​=0)​=p0​

2.5 半朴素贝叶斯分类器

考虑了部分属性之间的依赖关系，既保留了属性之间较强的相关性，又不需要完全计算复杂的联合概率分布

常用的方法是建立独依赖关系：假设每个属性除了类别之外，最多只依赖一个其他属性