高斯混合模型（GMM）浅入理解

学习的资料主要是看大佬的一些博客和李航老师的统计学习第九章，感谢！
其中有篇笔记让小匹眼前一亮，这里贴出来：
知乎_戴文亮_高斯混合模型（GMM）
进入正题

---

1.1 概念理解

高斯混合模型（GMM），是单一高斯模型的延伸,其概率分布模型为：
$$P(x|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (x|{\theta }_k)$$
由公式可以看出，高斯混合模型可以看做由k个单一高斯模型混合而成的。

其中k是隐变量，在训练中不能直接使用，所以不能简单地用以往的普通极大似然估计来训练参数。和高斯混合模型配套使用的EM算法，就是专门用来解决隐变量问题的。

1.2 隐变量

隐变量是什么？网络上的一些解释是，不能直接被观测的数。（有点量子化了。。。）

我的理解是，例如上式的隐变量k，k是在整个训练完全结束之后才确定的数，是个对整体数据观测之后得到的一个寻优近似量。

所以，在训练过程中，不能调用这个k，k是始终在优化的。这也是高斯混合模型的聚类功能的体现，无监督聚类到最后才能观测聚成了几类。

训练的时候不能调用它，需要用其它方法去绕开隐变量。于是，诞生了EM算法，用Q函数绕开隐变量，近似估计极大似然。

1.3 聚类功能

GMM，常用于分类问题，因为GMM本身具有聚类功能。这里要区别分类与聚类。

在无监督无训练条件的情况聚类，可以达到初分类的效果，如下图：这图若需删除请及时联系。

左图：单一高斯模型，右图：GMM

可以看到，GMM在单一高斯模型的基础上，把堆数据细分分成了三类，保留了这堆数据原有的信息。

相较单一高斯模型，GMM通过多模型可以更好的描述同一类别具有多种不同属性的情况（逼近多峰值曲线），有较好的数据分类能力。

第一篇博客 2020/12/1合影留恋