Gaussian discriminant analysis and Gaussian Mixture Model

Gaussian discriminant analysis高斯判别分析的做法和贝叶斯思想有一定的联系，首先回顾

下贝叶斯公式：

对于高斯判别分析，对于每一个y，要计算出P(y/x)，找到概率最大的那个y作为x的类别，其中P(X)可以写成：

那么只需要知道p(x/yi)，i=1,2,..K就能求出所有的P(y/x)。

这里高斯判别分析假设在同一类别的样本属于高斯分布，在分两类的情况下，有：

其中u0,u1,还有相应的方差通过最大似然估计法能过得到：

这里简单起见，假设两个分布的方差是相同的，这里p(yk)的值直接用出现次数除以总数求得即可。

另外想说的就是基于EM思想的 Gaussian Mixture Model,他与高斯判别模型非常的相似，都是在假设同一类别内的样本满足高斯分布，但是有一个很大的区别，高斯判别分析告诉你了每个样本的类别，但是GMM没有，这也是EM算法发挥作用地方了。

GMM模型中，我们需要每个样本属于一个潜在的类别z，根据EM思想，我们的最大似然函数如下：

对三个参数求导后得到：

由EM算法的推导可以得到，潜在变量必须满足一个关于x的后验分布，才能取到似然函数的下界，所以有如下的EM步骤：

根据EM算法中E步的做法，需要浅变量z的分布，因此这里引入一个w(i)j表示样本i属于j类的概率，这样在求其他三个参数时，可以直接用w的式子求，而省去1{}这个符号。

w(i)j的计算可以用贝叶斯公式，如下：

说到之类GMM大概的步骤算是说清楚了，最后再说一点，GMM虽然能够聚类，但是也要提前给定K值(聚成几类)，然后GMM经常和kmeans共同使用，使用Kmeans聚类后的结果作为GMM执行EM算法初始化参数，能使GMM快速收敛。