[统计学习方法笔记]第4章-朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类模型。通过给定训练数据，学习输入x/输出y的联合概率分布P(x,y)，然后用贝叶斯定理求出后验概率最大的输出y，作为预测结果。

贝叶斯定理

贝叶斯定理是关于随机事件A和B发生的条件概率，P(B|A)是在A发生的情况下B发生的可能性。定理简化版如下：
$$P(B|A)=\frac{P(A,B)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}$$
如果事件B有n个小事件组成，且相互独立，贝叶斯公式完整版：
$$P(B_i|A)=\frac{P(A,B_i)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$$

朴素贝叶斯法

输入空间X为n维向量，输出空间为类标记集合$Y=\{c_1,c_2,...,c_k\}$，训练数据集$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$ 通过训练数据可以学习联合概率分布P(X,Y)，具体需要学习先验分布和条件分布。
先验概率分布：$$P(Y=c_k),k=1,2,...,K$$
条件概率分布，加入了条件独立性假设：
$$\begin{gathered} P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}{=}^{(n)}|Y=c_k) \\ =\prod _{j=1}^{n}P(X^{(j)}|Y=c_k) \end{gathered}$$ 贝叶斯分类时，对给定的输入x，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，后验概率最大的类作为预测输出。
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k=1}^{K}P(X=x|Y=c_k)P(Y=c_k)}$$
贝叶斯分类器可表示为对y的k中结果求最大值：
$$y=f(x)=argmax\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k=1}^{K}P(X=x|Y=c_k)P(Y=c_k)}$$
$P(X=x|Y=c_k)$中x的不同分量相互独立，所以
$$P(X=x|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
最后求最大值时，分母都是一样的，分类器最终简化为：
$$\begin{gathered} y=f(x)=argmaxP(X=x|Y=c_k)P(Y=c_k) \\ =argmaxP(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k) \end{gathered}$$

极大似然估计

先验概率$P(Y=c_k)$的极大似然估计为：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,..,k$$
设第j个特征$x^{(j)}$取值集合为$\{a_{jl},a_{j2},...,a_{js}\}$，条件概率极大似然估计：
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)}{N}$$
给定实例$x=(x^{(1)},x^{(2)},...,x^{(n)})$，计算：
$$P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$预测实例x的类别：
$$y=argmaxP(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

贝叶斯估计

极大似然估计可能出现概率值为0的情况，也会影响分类的结果，解决这一问题的方法就是加入拉普拉斯平滑，为随机变量每个取值加入一个常数$\lambda$，常取$\lambda =1$。
先验分布的贝叶斯估计：
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$
条件概率的贝叶斯估计：
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$