Kmeans GMM 高斯混合模型 EM算法

Kmeans 模型是 GMM 模型的一种，高斯混合模型（Gaussian Mixed Model）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。

GMM 参数的学习可以用EM算法，EM算法是用于含有隐变量的概率模型参数的极大似然估计，EM算法通过迭代来的方式进行极大似然估计，每一次迭代由可以分为：E步，求期望；M步，求极大化。

在 Kmeans 算法中，初始化聚类中心后，迭代地进行对每个样本点计算当前离其最近的聚类中心所属类别（近似相当于 EM 算法的 E步），然后计算每个类别中所以样本点的几何中心得到新的聚类中心 （近似相当于 EM 算法的 M步）。 可以理解为把 「EM中的计算期望」 简化成 「K means 中的计算距离」 和 「EM中的求极大化」 简化成 「K means 中的计算距离各样本点最近的新聚类中心」。

参考：
https://www.zhihu.com/question/49972233 K means 的E步和M步
https://blog.csdn.net/jinping_shi/article/details/59613054 GMM 和 EM算法