高斯分类器多类matlab,高斯判别分析（附Matlab实现）

生成学习算法

高斯判别分析(Gaussian Discriminant analysis，GDA)，与之前的线性回归和Logistic回归从方法上讲有很大的不同，GDA是一种生成学习算法(Generative Learning Algorithms)，而之前的属于判别学习算法(Discriminative Learning Algorithms)。

它们的主要区别是：

判别学习算法是直接训练出p(y|x)；

生成学习算法是分别训练出各个类别的概率模型，之后再用Bayes公式算法出p(y|x)；

通俗的说，判别模型是通过训练样本训练出一个模型，再用测试点x带入这个模型，最后算出x的可能类别；而生成学习模型是通过训练样本训练出各个类别的多个模型，再将预测点x分别代入不同类别的模型中，进而判断x到底属于哪个类别(一般就看代入后那个模型的概率大就认为x是哪一类，当然也有例外)。

高斯判别分析

GDA就是一种生成学习算法，通过生成不同类别的模型，再进一步估计出预测样本的具体类别，为了简化问题，这里只讲二分类情况下的问题。

前提：

条件概率p(x|y)服从多维正态分布，且输入特征x是连续且随机的。

其分布函数为：

其中p(y)为类别i的先验概率，φ为y=1的先验概率值，μ0和μ1分别为y=0和y=1的期望，Σ为样本的协方差，由此可以看出y是服从Bernoulli(φ)的分布，x|y=0和x|y=1分别服从N(μ0，Σ)和N(μ1，Σ)。

Ps:这里y=0和y=1时用的是同一个协方差，至于为什么？我感觉很难说清

其似然函数如下

为了使似然函数达到最大，可得和参数的估计值为

有了这些估计值我们就能生成属于各个类别的模型了。

In Matlab

这代码其实很简单，分别算出各参数的值，再带入matlab预有的生成函数就行

代码如下：

clear all; close all; clc

% data

x = [0.230000 0.394000;

0.238000 0.524000;

0.422000 0.494000;

0.364000 0.556000;

0.320000 0.448000;

0.532000 0.606000;

0.358000 0.660000;

0.144000 0.442000;

0.124000 0.674000;

0.520000 0.692000;

0.410000 0.086000;

0.344000 0.154000;

0.490000 0.228000;

0.622000 0.366000;

0.390000 0.270000;

0.514000 0.142000;

0.616000 0.180000;

0.576000 0.082000;

0.628000 0.286000;

0.780000 0.282000];

x1 = x(:,1);

x2 = x(:,2);

y = [0;

0;

0;

0;

0;

0;

0;

0;

0;

0;

1;

1;

1;

1;

1;

1;

1;

1;

1;

1];

[m, n] = size(x);

% plot the datas

figure

pos = find(y); neg = find(y == 0); %find是找到的一个向量，其结果是find函数括号值为真时的值的编号

plot(x(pos, 1), x(pos, 2), '+')

hold on

plot(x(neg, 1), x(neg, 2), 'o')

hold on

xlabel('axis X')

ylabel('axis Y')

m_ones = ones(m,1); % 20 * 1的矩阵，元素全为1

sum0 = (1-y)' * m_ones; % 标记为0的样本个数

sum1 = y' * m_ones; % 标记为1的样本个数

mu0 = [(1-y)'*x1/sum0 (1-y)'*x2/sum0]; % 标记为0的期望

mu1 = [y'*x1/sum1 y'*x2/sum1]; % 标记为1的期望

sigma = cov(x1,x2); % 协方差

[x y]=meshgrid(linspace(0,1,50)',linspace(0,1,50)');

X=[x(:) y(:)];

z1=mvnpdf(X,mu0,sigma);

contour(x,y,reshape(z1,50,50),4);

hold on;

[x y]=meshgrid(linspace(0,1,50)',linspace(0,1,50)');

X=[x(:) y(:)];

z2=mvnpdf(X,mu1,sigma);

contour(x,y,reshape(z2,50,50),4);

hold off

效果图如下：

标准的结果应该是这样的：

感觉好像一样，又感觉好像不一样，也不知道我这到底错没错，也许是训练集没有服从高斯分布吧，等有空再找个服从高斯分布的样本集试试。

拓展

当将p(y=1|x；φ，μ0，μ1，Σ)看成是一个x的函数时，可以发现p(y=1|x)将会近似成一个Logistic函数。如下图(画的难看，见谅)

分布函数可以写成

其中θ是φ，μ0，μ1，Σ的函数。其实这个函数也就是这个问题的判别学习算法形式了。

那问题自然就来了，到底选哪一个会更好呢？

当然通常的回答肯定不会出现绝对哪一个会更好，要不差的那个根本就没有存在的价值了嘛，依然是具体问题具体分析，我相信机器学习中的很多问题都是这样的，看你对数据的理解程度了。

这里有几个tips可以帮助我们做判断，至于要讲出个之所以然来，我想，任重而道远啊。

1、当x|y服从多维高斯分布时，则其后验概率y|x服从Logistic回归；但反过来并不成立。

2、当已知x|y服从高斯分布，则GDA是一个好的选择，若不服从高斯分布，却使用了GDA，其表达效果往往没有Logistic回归好。----GDA是一个更强条件的分类算法

3、若x|y=0和x|y=1都服从Poisson分布(指数分布族)，则y|x也遵守Logistic回归