《统计学习方法》极简笔记P4：朴素贝叶斯公式推导

朴素贝叶斯基本方法

通过训练数据集$T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)\}$学习联合概率分布P(X,Y)，即学习先验概率分布$P(Y=c_k),$
条件概率分布$P(X=x|Y=c_k)$
$k=1,2,...,K$
假设条件独立
$P(X=x|Y=c_k)={\prod }_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$
然后根据学习到的模型计算后验概率分布，根据贝叶斯定理
$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$
条件概率带入，得
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X_i^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X_i^{(j)}=x^{(j)}|Y=c_k)}$$
于是，朴素贝叶斯分类器可表示为
$$y=argmax\frac{P(Y=c_k){\prod }_{j}P(X_i^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X_i^{(j)}=x^{(j)}|Y=c_k)}$$
又，分母对所有$c_k$都相同，so
$$y=argmaxP(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)$$
假设采用0-1损失函数，期望风险函数为
$R_{exp}(f)=E[L(Y,f(X))]$
同样的，条件期望
$R_{exp}(f)=E_X{\sum }_{k=1}^K[L(c_k,f(X))]P(c_k|X)$
期望风险最小,只需对X=x逐个极小化
$$\begin{gathered} f(x)=argmin{\sum }_{k=1}^K[L(c_k,y)]P(c_k|X) \\ =argmin{\sum }_{k=1}^{K}P(y̸=c_k|X=x) \\ =argmin{\sum }_{k=1}^K(1-P(y=c_k|X=x)) \\ =argmaxP(y=c_k|X=x) \end{gathered}$$
这即为朴素贝叶斯采用的原理

朴素贝叶斯算法

输入：
训练数据$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$
$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(l)})$,$x_i^{(l)}$为第i个样本的第j个特征，$a_{jl}$是第j个特征可能取得第$l$个值，j=1,2,…,n,$l=1,2,...,S_j$,$y_i\in \{c_1,c_2,...,c_K\}$
输出：实例$x$的分类
(1)计算先验概率及条件概率,此处取极大似然估计
$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$

$$P(X^{(j)}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}|y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$
(2)对于给定的实例，$x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T$，计算
$$P（Y=c_k）=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$
(3)确定实例$x$的类
$$y=argmaxP(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

贝叶斯估计

极大似然估计存在的问题是会出现概率为0的情况，解决之道是贝叶斯估计

$$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$$

$$P(X^{(j)}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}|y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$