机器学习——朴素贝叶斯

定义

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，属于生成模型。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入 $x$，利用贝叶斯定理求出后验概率最大的输出 $y$。朴素贝叶斯法之所以叫作“朴素”，是由于它采用了条件独立性的假设，即假设用于分类的特征在类确定的条件下都是独立的。

设输入空间 $\mathcal{X}\subseteq {\mathbf{R}}^{\mathbf{n}}$ 为 $n$ 维向量的集合，输出空间为类标记集合 $\mathcal{Y}=\{c_1,c_2,...,c_K\}$。输入为特征向量 $x\in \mathcal{X}$，输出为类标记 $y\in \mathcal{Y}$。$X$ 是定义在输入空间 $\mathcal{X}$ 上的随机向量，$Y$ 是定义在输出空间 $\mathcal{Y}$ 上的随机变量。$P(X,Y)$ 是 $X$ 和 $Y$ 的联合概率分布。训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$由 $P(X,Y)$ 独立同分布产生。

朴素贝叶斯法通过训练数据集学习联合概率分布 $P(X,Y)$。具体地，学习以下先验概率分布及条件概率分布。先验概率分布
$$P(Y=c_k),k=1,2,...,K$$条件概率分布
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K$$由于贝叶斯条件独立性的假设，因此可以表示为：
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的准确度。

朴素贝叶斯法进行分类时，对于给定的输入 $x$，通过学习到的模型计算后验概率分布 $P(Y=c_k|X=x)$ 将后验概率最大的类作为 $x$ 的类输出：
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$代入上式可得：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,...,K$$于是，朴素贝叶斯分类器可表示为：
$$y=f(x)=\arg \underset{c_k}{\max }\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$由于上式中分母对所有 $c_k$ 都是相同的，因此
$$y=\arg \underset{c_k}{\max }P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$

参数估计

朴素贝叶斯将实例分类到后验概率最大的类中，因此需要估计 $P(Y=c_k)$ 和 $P(X^{(j)}=x^{(j)}|Y=c_k)$。

极大似然估计

可以应用极大似然估计相应的概率，先验概率 $P(Y=c_k)$ 的极大似然估计是
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$$设第 $j$ 个特征 $x^{(j)}$ 可能取值的集合为 $\{a_{j1},a_{j2},...,a_{j{S}_j}\}$。条件概率 $P(X^{(j)}=a_{jl}|Y=c_k)$ 的极大似然估计是
$$\begin{gathered} P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)} \\ j=1,2,...,n;l=1,2,..,S_j;k=1,2,...,K \end{gathered}$$其中，$x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征；$a_{jl}$ 是第 $j$ 个特征可能取的第 $l$ 个值；$I$ 为指示函数。

贝叶斯估计

用极大似然估计可能会出现概率值为0的情况，为解决这一问题，可以采用贝叶斯估计：
$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$其中，$\lambda \ge 0$。等价于在随机变量各个取值的频数上赋予一个正数 $\lambda >0$。当 $\lambda =0$ 时就是极大似然估计。通常取 $\lambda =1$，这时称为拉普拉斯平滑。显然，对任何 $l=1,2,...,S_j$ 和 $k=1,2,...,K$ 有：
$$\begin{gathered} P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)>0 \\ \sum _{l=1}^{S_j}P(X^{(j)}=a_{jl}|Y=c_k)=1 \end{gathered}$$
同样，先验概率的贝叶斯估计是：
$$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$

参考文献

[1] 李航. 统计学习方法. 清华大学出版社. 2012