贝叶斯分类器总结

博客园相关内容值得一看。假设有$N$种标签类别$c_i$，${\lambda }_{ij}$是将真实标签$c_i$误分类为$c_j$的损失，基于后验概率$P(c_i|x)$的条件风险定义为$R(c_i|x)={\sum }_{j=1}^N{\lambda }_{ij}P(c_j|x)$，贝叶斯分类器要学习一个分类器$h(x)=argmi{n}_{c\in Y}R(c|x)$，即在每个样本上选择那个能使对应条件风险最小的类别标记，此时根据贝叶斯判断准则（具体推导可见《统计学习方法》），总体风险$R(h)=E_x[R(h(x)|x)]$也最小，与贝叶斯最优分类器$h^{\ast }(x)$对应的总体风险称为贝叶斯风险$R^{\ast }(h)$。如果分类目标定为最小化分类错误率，${\lambda }_{i,j}$可以定为当$i=j$，${\lambda }_{i,j}=0$，否则${\lambda }_{i,j}=1$，此时$R(c_i|x)={\sum }_{j=1,j\ne i}^{N}P(c_j|x)=1-P(c_i|x)$（为了方便下面省略下标$i$），此时$h^{\ast }(x)=argma{x}_{c\in Y}P(c|x)$

为了获得后验概率，有两种方法：直接建模$P(c|x)$得到的是“判别式模型“（决策树，神经网络，支持向量机）；先对联合分布$P(x,c)$建模，再得到$P(c|x)$，得到”生成式模型“。根据贝叶斯定理$P(c|x)=\frac{P(c,x)}{P(x)}=\frac{P(c)P(x|c)}{P(x)}$，其中$P(c)$是类的先验概率，$P(x|c)$是样本相对于$c$的似然，$P(x)$对于给定样本而言，不会影响$P(c_i|x)(i=1,2,\dots ,N)$的相对大小，因此问题转化为根据数据集$D$估计先验$P(c)$和似然$P(x|c)$，其中$P(c)$根据大数定律可以根据数据集中样本出现的频率估计，$P(x|c)$是给定标签类别$c$样本$x$的各个属性取值概率的联合分布。

• 书提到$P(x)$是用于归一化的"证据"因子，不太理解
• 设$X_1,X_2,\dots ,X_n$是独立同分布的随机变量，且均值为$\mu$，并设平均值$\bar{X}=\frac{X_1+X_2+\cdots +X_n}{n}$，弱大数定律是$\bar{X}$依概率收敛于$\mu$，强大数定律是$\bar{X}$几乎处处收敛于$\mu$

朴素贝叶斯采用了属性条件独立性假设：对给定类别，样本的所有属性相互独立，即属性的取值分别对分类结果产生影响，此时$P(c|x)=\frac{P(c)}{P(x)}P(x|c)=\frac{P(c)}{P(x)}{\prod }_{i=1}^{d}P(x_i|c)$，其中$d$是属性数目，$x_i$是$x$在第$i$个属性上的取值。最后综上，朴素贝叶斯分类器的表达式化为：
$$h_{naiveBayes}^{\ast }(x)=argma{x}_{c\in Y}P(c|x)=argma{x}_{c\in Y}P(c)\prod _{i=1}^{d}P(x_i|c)$$
根据数据集$D$（如果属性$x_i$是离散值可用第二个式子估计，如果是连续值，可假设属性值的出现服从正态分布，根据极大似然可以用第三个式子估计，其中${\mu }_{c,i}$和${\sigma }_{c,i}^2$是第$c$类样本在第$i$个属性上取值的均值和方差），这些参数可以估计为：
$$\begin{gathered} P(c)=\frac{|D_c|}{|D|} \\ P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|} \\ p(x_i|c)=\frac{1}{\sqrt{2\pi {\sigma }_{c,i}^2}}exp(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2}) \end{gathered}$$
如果某个属性未在样本中出现，概率$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$将会是$0$，即任何属性$x_i$是这个取值的样本$x$，最后连乘之后的概率都是$0$，为了避免这种不合理情况，可以对这些估计做"拉普拉斯修正"（这种修正实质上是假设属性与类别都是均匀分布，这是关于数据的先验），$N$是类别数目，$N_i$是第$i$个属性可能的取值数目：
$$\begin{gathered} P(c)=\frac{|D_c|+1}{|D|+N} \\ P(x_i|c)=\frac{|D_{c,x_i}+1|}{|D_c|+N_i} \end{gathered}$$
朴素贝叶斯还可以实现懒惰学习和增量学习。关于其他贝叶斯分类器，可以看这里，$EM$算法可见《统计学习方法》和《机器学习》的后半部分，这里没有看，代码在这，我的代码实现朴素贝叶斯