正态分布中的贝叶斯分类方法

在上篇文章中，介绍了贝叶斯决策理论，以及两种比较常用的决策标准。

但是，在实际工程应用中，类条件概率密度函数的获取是比较困难的。因此，常常假设类条件概率密度函数服从多元正态分布。

本文主要介绍多元正态分布中的贝叶斯分类方法。

 

对于c类问题，以最小错误率的决策标准，可以得到判别函数为

令判别函数简化为

假设X是n维的待分类特征向量，且服从正态分布，即，则

为了方便计算，取上式的对数为判别函数

去掉无关项，上式子可进一步简化为

式中，为ωi类的n*n维协方差矩阵，为其逆，为其行列式，μi=u1,u2,…,unT为ωi类的n维均值向量，X=x1,x2,…,xnT为n维的特征向量。

---

可以的不同情况进行分类讨论。

情况一  

即每个类的协方差矩阵都相等，类内各个维度不相关，且方差相等，σ表示标准差，I表示单位矩阵。

带入到判别函数可得

去掉无关项，判别函数可以简化为

其中 

讨论先验概率

若各类别的先验概率相等，则判别函数为

此时的分类器为“最小距离分类器”

 

若各类别的先验概率不总相等

因为

且 为无关项

因此，判别函数可简化为

可以写成线性形式

其中     

---

---

情况二： 

即每个类的协方差矩阵都相等

带入判别函数可得

若各类的先验概率相等，则判别函数可以简化为

即求出待分类X到每类的均值的的马氏距离，并将X归于最小的类别

 

若各类的先验概率不总相等
因为的展开项中与类别无关

所以，判别函数可以简化为如下的线性形式

其中，   ，   

---

情况三：一般情况，这边文章中不做讨论。

 

下篇文章将给一个比较典型的例子，利用正态分布中的贝叶斯方法进行分类。