在MATLAB中实现Bayes分类器

贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝叶斯分类器是最小错误率意义上的优化，它遵循“多数占优”这一基本原则。

一、基本的Bayes分类器实现

这里将在MATLAB中实现一个可以对两类模式样本进行分类的贝叶斯分类器，假设两个模式类的分布均为高斯分布。模式类1的均值矢量m1 = (1, 3)，协方差矩阵为S1 =(1.5, 0; 0, 1)；模式类2的均值矢量m2 = (3, 1)，协方差矩阵为S2 =(1, 0.5; 0.5, 2)，两类的先验概率p1 = p2 = 1/2。详细的操作包含以下四个部分：

1.首先，编写一个函数，其功能是为若干个模式类生成指定数目的随机样本，这里为两个模式类各生成100个随机样本，并在一幅图中画出这些样本的二维散点图；

2.由于每个随机样本均含有两个特征分量，这里先仅仅使用模式集合的其中一个特征分量作为分类特征，对第一步中的200个样本进行分类，统计正确分类的百分比，并在二维图上用不同的颜色画出正确分类和错分的样本；（注：绿色点代表生成第一类的散点，红色代表第二类；绿色圆圈代表被分到第一类的散点，红色代表被分到第二类的散点！ 因此，里外颜色不一样的点即被错分的样本。）

3.仅用模式的第二个特征分量作为分类特征，重复第二步的操作；

4.同时用模式的两个分量作为分类特征，对200个样本进行分类，统计正确分类百分比，并在二维图上用不同的颜色画出正确分类和错分的样本；

正确率：

可以看到，单单使用一个分类特征进行分类时，错误率较高（多次试验均无法得出较好的分类结果），而增加分类特征的个数是提高正确率的有效手段，当然，这会给算法带来额外的时间代价。

二、进一步的Bayes分类器

假设分类数据均满足高斯分布的情况下，设计一个判别分类器，实验目的是为了初步了解和设计一个分类器。

1.编写一个高斯型的Bayes判别函数，该函数输入为：一给定正态分布的均值mu、协方差矩阵sigma，先验概率p以及模式样本矢量X，输出判别函数的值。

2.以下表格给出了三类样本各10个样本点，假设每一类均为正态分布，三个类别的先验概率相等均为P(w1)=P(w2 )=P(w3 )=1/3。计算每一类样本的均值矢量和协方差矩阵，为这三个类别设计一个分类器。

3.用第二步中设计的分类器对以下测试点进行分类：(1,2,1)，(5,3,2)，(0,0,0)，并且利用以下公式求出各个测试点与各个类别均值之间的Mahalanobis距离。以下是来自百度百科的关于马氏距离的解释：

更具体的见： http://baike.baidu.com/link?url=Pcos75ou28q7IukueePCNqf8N7xZifuXOTrwzeWpJULgVrRnytB9Gji6IEhEzlK6q4eTLvx45TAJdXVd7Lnn2q

4.如果P(w1)=0.8, P(w2 )=P(w3 )=0.1，再进行第二步和第三步实验。实验的结果如下：

首先是得出三类样本点各自的均值和协方差矩阵：

在三个类别的先验概率均为P(w1)=P(w2 )=P(w3 )=1/3时，使用函数进行分类并给出分类结果和各个测试点与各个类别均值之间的Mahalanobis距离。

验证当三个类别的先验概率不相等时，同样使用函数进行分类并给出分类结果和各个测试点与各个类别均值之间的Mahalanobis距离。

可以看到，在Mahalanobis距离不变的情况下，不同的先验概率对高斯型Bayes分类器的分类结果影响很大~ 事实上，最优判决将偏向于先验概率较大的类别。

详细代码在课题组允许公布后流出~