统计学习方法——朴素贝叶斯（一）

朴素贝叶斯

朴素贝叶斯是基于贝叶斯定律与特征之间条件独立这个假设的分类方法，属于生成模型。

贝叶斯定律

首先，我们给出贝叶斯定律的公式：
$$P\left(B_i|A\right)=\frac{P\left(B_i\right)P\left(A|B_i\right)}{{\sum }_{j=1}^{n}P\left(B_j\right)P\left(A|B_j\right)}$$
其中$P\left(\cdot \right)$为时间发生的概率，$P\left(A|B\right)$则表示在$B$发生的情况下$A$发生的概率。

当特征条件独立时，则可以写为：
$$P\left(类别|特征\right)=\frac{P\left(特征|类别\right)P\left(类别\right)}{P\left(特征\right)}$$

这里不再进行过多的赘述（我觉得知道这条就足够）。下面我们开始介绍朴素贝叶斯。

朴素贝叶斯的学习与分类

基本方法

我希望尽可能说的简单一些。

训练数据集$T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots ,\left(x_N,y_N\right)\right\}$由$P\left(X,Y\right)$独立同分布产生。其中$X,Y$分别是输入、输出空间$\mathcal{X},\mathcal{Y}=\left\{c_1,c_2,...,c_K\right\}$的随机变量。

朴素贝叶斯法则是通过训练集学习联合概率分布$P\left(X,Y\right)$。

我们看一下详细过程：

1. 计算先验概率分布：$P\left(Y=c_k\right)，k=1,2,...,K$
2. 计算条件概率分布：$P\left(X=x|Y=c_k\right)=P\left(X^{\left(1\right)}=x^{\left(1\right)},X^{\left(2\right)}=x^{\left(2\right)},\cdots ,X^{\left(n\right)}=x^{\left(n\right)}|Y=c_k\right),k=1,2,\cdots ,K$
   意思是：在标签为$c_k$时样本为$x$的概率=标签为$c_k$时，每个特征都取相应的取值时的概率。【计算很困难】
3. 又因为作了特征之间条件独立的假设，所以上式可改写为为：
   $$P\left(X=x|Y=c_k\right)=\prod _{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)$$
   简化了模型，但可能会损失一定的分类准确率。
4. 进行分类时，对于给定的输入$x$，通过学习的模型计算后验概率分布$P\left(Y=c_k|X=x\right)$，将最大的作为$x$的类输出。
   $$P\left(Y=c_k|X=x\right)=\frac{P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_{k}P\left(X=x|Y=c_k\right)P\left(Y=c_k\right)}=\frac{P\left(Y=c_k\right){\prod }_{j}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}{{\sum }_{k}P\left(Y=c_k\right){\prod }_{j}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}$$
5. 最终贝叶斯分类器可表示为：
   $$y=f\left(x\right)=\arg \underset{c_k}{\max }\frac{P\left(Y=c_k\right){\prod }_{j}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}{{\sum }_{k}P\left(Y=c_k\right){\prod }_{j}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)}$$
   考虑到其实分母对所有$c_k$都是相同的，所以【如果不想看理论，就记住这个式子】
   $$y=\arg \underset{c_k}{\max }P\left(Y=c_k\right){\prod }_{j}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)$$

后验概率最大化的含义

朴素贝叶斯将实例分类到后验概率最大的类中，等价于期望风险最小化。

期望风险函数为：
$$R_{\exp }\left(f\right)=E\left[L\left(Y,f\left(X\right)\right)\right]$$
其中$L\left(\right)$为损失函数，$f\left(\right)$为分类决策函数。

由此取条件期望：
$$R_{\exp }\left(f\right)=E_X\sum _{k=1}^K\left[L\left(c_k,f\left(X\right)\right)\right]P\left(c_k|X\right)$$

为了使期望风险最小，只需对$X=x$逐个极小，也就是对后验概率的最大化：
$$f\left(x\right)=\arg \underset{c_k}{\max }P\left(c_k|X=x\right)$$

朴素贝叶斯的参数估计

极大似然估计

学习意味着估计$P\left(Y=c_k\right)$和$P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)$。

• 先验概率$P\left(Y=c_k\right)$的极大似然估计为：
  $$P\left(Y=c_k\right)=\frac{\sum _{i=1}^{N}I\left(y_i=c_k\right)}{N},k=1,2,\cdots ,K$$
• 假设第$j$个特征$x^{\left(j\right)}$的取值集合为$\left\{a_{j1},a_{j2},\cdots ,a_{j{S}_j}\right\}$，条件概率$P\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)$的极大似然估计为：
  $$P\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)=\frac{\sum _{i=1}^{N}I\left(x_i^{\left(j\right)}=a_{jl},y_i=c_k\right)}{\sum _{i=1}^{N}I\left(y_i=c_k\right)}j=1,2,\cdots ,n;l=1,2,\cdots ,S;k=1,2,\cdots ,K$$
  其中$x_i^{\left(j\right)}$是第$i$个样本的第$j$个特征，$a_{jl}$为特征$j$可能的第$l$个值，$I$为指示函数。

学习与分类算法

算法的规范表述：

• 输入：训练集$T=\left\{\left(x_1,y_1\right),\cdots ,\left(x_N,y_N\right)\right\}$，其中$x_i={\left(x_i^{\left(1\right)},\cdots ,x_i^{\left(n\right)}\right)}^T$，$x_i^{\left(j\right)}\in \left\{a_{j1},\cdots ,a_{j{S}_j}\right\}$，$y_i\in \left\{c_1,c_2,\cdots ,c_K\right\}$和实例$x$。
• 输出：实例$x$的分类
• 计算过程
  • 计算先验概率及条件概率【公式已经在上面了】
  • 对于给定的实例$x={\left(x^{\left(1\right)},\cdots ,x^{\left(n\right)}\right)}^T$计算
    $$P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right),k=1,2,\cdots ,K$$
  • 确定$x$的类
    $$y=\arg \underset{c_k}{\max }P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{\left(j\right)}=x^{\left(j\right)}|Y=c_k\right)$$

贝叶斯估计

用极大似然估计可能会出现所要估计的概率为$0$的情况，所以使用贝叶斯估计。

条件概率的贝叶斯估计为：
$$P_{\lambda }\left(X^{\left(j\right)}=a_{jl}|Y=c_k\right)=\frac{\sum _{i=1}^{N}I\left(x_i^{\left(j\right)}=a_{jl},y_i=c_k\right)+\lambda }{\sum _{i=1}^{N}I\left(y_i=c_k\right)+S_j\lambda }$$
其中$\lambda \ge 0$，当等于$0$时为极大似然估计，为$1$时为拉普拉斯平滑，其中$N$为样本总数，$K$为分类总数，$S_j$为当前考虑的特征的可能取值数量。

先验概率的贝叶斯估计为：
$$P_{\lambda }\left(Y=c_k\right)=\frac{\sum _{i=1}^{N}I\left(y_i=c_k\right)+\lambda }{N+K\lambda }$$

参考文献

《统计学习方法》
《机器学习》
https://baike.baidu.com/item/贝叶斯定理/1185949?fr=aladdin