朴素贝叶斯分类

前面我们了解全概率公式和贝叶斯公式，如果对贝叶斯公式不太熟悉可以参考 全概率公式与贝叶斯公式这篇文章。

应用

• 中文分词 分词后，得分的假设是基于两词之间是独立的，后词的出现与前词无关
• 统计机器翻译 统计机器翻译因为其简单，无需手动添加规则，迅速成为了机器翻译的事实标准。
• 贝叶斯图像识别 首先是视觉系统提取图形的边角特征，然后使用这些特征自底向上地激活高层的抽象概念，然后使用一个自顶向下的验证来比较到底哪个概念最佳地解释了观察到的图像。

贝叶斯公式

首先复习一下贝叶斯公式:
假设有事件A,$B_i,i=1,2,3,...,n$,则在A事件发生时，$B_i$事件发生的概率$P\left(B_i|A\right)$:
$$P\left(B_i|A\right)=\frac{P\left(B_{i}A\right)}{P(A)}=\frac{P(B_i)P(A|B_i)}{P(A)}$$
现在我们可以将上述公式应用于分类问题，求出样本$\mathbf{x}$在各个类别上发生的最大概率，就可以判断它属于那哪一个类。为了便于我们理解，上述公式可以写成：$$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x},c)}{P(\mathbf{x})}$$
其中$\mathcal{Y}=\left\{c_1,c_2,\dots ,c_N\right\}，$ $c表示类别，\mathcal{Y}表示数据集中类的集合,\mathbf{x}$表示数据集中的一个样本（是一个多维向量，每一维代表一个属性)。

1. $P(c)$是先验概率，代表整个数据集中是c类的概率，可用频率代替，即$\frac{|c|}{|\mathcal{Y}|}$.
2. 由全概率公式得$P(\mathbf{x})={\sum }_{j=1}^{n}P\left(c_j\right)P\left(\mathbf{x}|c_j\right)$，对于所有的样本结果相同，称为证据因子，与类别标记无关。因此在贝叶斯分类过程中可以分母去掉。
3. $P(\mathbf{x}|c)$是样本$\mathbf{x}$相对于类别c的类条件概率。表示c类中有$\mathbf{x}$的概率。

朴素贝叶斯分类器

通常情况下，样本$\mathbf{x}$都有多种属性，$P(c|x)$是样本$\mathbf{x}$所有属性上的联合概率，难以从有限的样本中直接估计而得，为了避开这个障碍，朴素贝叶斯采用了属性条件独立性假设，假设每个属性独立的对分类结果产生影响，即计算每种属性是某一类的概率$P(c|x_i)$（$x_i$表示样本$\mathbf{x}$的某种属性），然后将样本x的所有属性是某类的概率相乘${\Pi }_{i=1}^{d}P(c|x_i)$,然后比较属于每个类的概率谁大。
以下公式中$c$代表样本集合$\mathcal{Y}$中的一个类。
因此贝叶斯公式可以写成：
$$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}\prod _{i=1}^{d}P\left(x_i|c\right)$$
，因为$P(\mathbf{x})$对所有的类别都相同，所以我们不需要考虑这一项，因此贝叶斯分类可以改写成：
$$h_{nb}(\mathbf{x})={argmax}_{c\in \mathcal{Y}}P(c)\ast {\Pi }_{i=1}^{d}P(x_i|c)$$
若样本充足，$P(c)$的概率可以用频率近似，$P（c）=\frac{|c|}{|\mathcal{Y}|}$,$|c|$表示$c类在\mathcal{Y}$中的个数，$|\mathcal{Y}|$表示总个数。
求$(x_i|c)$（各个类中$x_i$属性的出现的概率）需要考虑离散型属性和连续型属性值的概率的计算。

• 对于离散型属性，我们可以使用频率近似，即：
  $$\begin{gathered} P(x_i|c)=\frac{|c_{x_i}|}{|c|}, \\ 其中|c|表示c类的个数，|c_{x_i}|表示c类中有x_i属性的样本的个数。 \end{gathered}$$
• 对于连续型属性。首先要考虑概率密度函数，估计样本符合哪种概率密度函数，假设该属性符合正态分布，则：
  $$\begin{gathered} p\left(x_i|c\right)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}\exp \left(-\frac{{\left(x_i-{\mu }_{c,i}\right)}^2}{2{\sigma }_{c,i}^2}\right) \\ \mu ，{\sigma }^2表示属性在c类的第i个属性上的均值和方差(还可以使用极大似然估计求得)。 \end{gathered}$$
  举例：
  给出样本：
  
  测试样本进行分类：
  
  
  
  在计算$$h_{nb}(\mathbf{x})={argmax}_{c\in \mathcal{Y}}P(c)\ast {\Pi }_{i=1}^{d}P(x_i|c)$$，我们会发现假如某一个属性值在c类中的个数为零，那么$P(x_i|c)$=0,由于连乘，将会影响使最终的概率值为零，这使得其他属性对样本的作用为零，显然不符合实际情况，为了避免这种情况出现，我们在求得离散型属性值时可以稍微更改一下求概率公式：
  $$P(c)=\frac{|c|+1}{|\mathcal{Y}|+N}$$
  $$P(x_i|c)=\frac{|c_{x_i}+1|}{|c|+N}$$,N表示$x_i$属性的可能取值（例，西瓜的颜色:青绿，浅白，乌黑，则N=3），$|c_{x_i}|$表示$x_i$属性在c类中的个数，+1为了避免出现零的情况。这个操作称为拉普拉斯修正。

半朴素贝叶斯分类器

朴素贝叶斯分类不考虑属性间的依赖关系，即属性条件独立性假设；而多数情况下，属性间是有依赖关系的，半贝叶斯是考虑一部分属性间的强依赖关系。

独依赖估计

独依赖估计仅考虑每个属性在类别之外最多仅依赖于一个其他属性。即
$$h_{nb}(\mathbf{x})={argmax}_{c\in \mathcal{Y}}P(c)\ast {\Pi }_{i=1}^{d}P(x_i|c,p{a}_i)$$
其中$p{a}_i$是属性$x$所依赖的属性，是$x_i$的父属性，$P(x_i|c,p{a}_i)$表示属于c类且属性为$p{a}_i$的样本有属性$x_i$的概率，可以通过前面条件概率的计算方式求得： $$P(x_i|c)=\frac{|c_{x_i}|}{|c_{p{a}_i}|},其中|c_{p{a}_i}|表示c类中有p{a}_i属性的样本的个数。$$
现在的问题如何确定属性间的依赖关系，确定每个属性的父属性。
确定父属性的方法有SPODE,TAN,AODE等方法。

多属性依赖

相比于独依赖（一对一属性依赖），多属性依赖是指一个属性可以影响多属性，或者多个属性影响一个属性，这种情况可以用贝叶斯网络来解决。
贝叶斯网络借助于带权有向无环图来表示属性间的依赖关系。假设属性$x_i$的父节点集合是${\pi }_i$(即${\pi }_i$中的属性决定属性x),则${\theta }_{x_i|{\pi }_i}=P(x_i|{\pi }_i)$,$\theta$定量的描述属性间的关系。
假设贝叶斯网络$B$由结构$G$和参数$\theta$构成，$B=<G,\theta >$，G是有向无环图。顶点表示属性。若顶点之间有依赖关系，则用有有向线段连接起来。
$B=<G,\theta >将属性x_1,x_2,...x_d$的联合概率分布定义为：
$$P_B(x_1,x_2,x_3,...x_d)={\Pi }_{i=1}^d{P}_B(x_i|{\pi }_i)={\Pi }_{i=1}^d{\theta }_{x_i|{\pi }_i}$$
举例：

$$P\left(x_1,x_2,x_3,x_4,x_5\right)=P\left(x_1\right)P\left(x_2\right)P\left(x_3|x_1\right)P\left(x_4|x_1,x_2\right)P\left(x_5|x_2\right)$$