学习笔记之高斯混合模型（GMM）梳理

一、概念解释：

先验概率：在有一定量数据的前提下，我们对参数进行概率估计，事件发生前的预判概率。

极大似然估计：找到一组参数使得我们观测到的数据出现的概率最大。

后验概率：在最合适的那个参数的前提下，观测数据出现的最大概率。

条件概率：。

高斯分布：，概率密度函数。

高斯混合模型（GMM）：高斯混合模型是一种混合模型，混合的基本分布是高斯分布，假设有随机变量x，则高斯混合模型可以表示为：，其中高斯分布称为高斯混合模型的第k个分量（component），相当于每个分量的权重且满足。

密度估计：根据数据来推断概率密度通常被称作密度估计（density estimation）。

参数估计：已知概率密度函数的形式，而要估计其中的参数的过程。

二、GMM理论

  GMM常用于聚类，如果要从一个GMM的分布中随机取一个点的话，实际上可以分为两步：

       1. 随机在K个分量中选一个，每个分量实际被选到的概率就是它的权重，即。

       2. 选中分量之后，单独再这个分两种考虑所选点的概率，此时转化为普通的高斯分布问题。

当确定高斯混合分布的分量个数即K时，之后要做的就是参数估计的过程。假设有N个数据点，我们需要确定的参数有、、，最终目标是使确定的参数可以使生成这些数据点的概率值最大，而这个概率值实际上就是，我们这个乘积称作似然函数(likehood)。通常单个点的概率都很小，通常用取对数的方式把乘积变成加和的形式。即，我们称这个加和形式为对数似然函数(log-likehood)。我们的目标是使对数似然函数最大化。

。

使用EM（expectation maximization）算法进行估计。引入隐含变量，=1表示第k类分量被选中的概率，=0表示第k类分量未被选中的概率，因此，、、、、中有且仅有一个为1，其余均为0。令表示各高斯分布概率密度函数中的参数即、、，用表示隐含变量的分布，。隐含变量是一个向量，且这个向量中只有一个元素取值为1.其余均为0。

Jensen不等式：对于凸函数，有；对于凹函数，有，为常数时Jensen不等式的等号成立。

所以上式可表示为：

三、 EM算法参数估计

为了使最大，需使等号成立以最大化下界，即（多个等式的分子分母相加值不变）

又因为所以，所以有

由上式可知，当各分量的参数确定时，的计算公式即为后验概率。（E步）

之后固定，调整使的下界极大化（固定后，的下界还可以更大）。（M步）

总结：一般的EM算法步骤为：

  1. E步: 对于每一个i，固定计算 ，

  2. M步: 得到后，调整使的下界极大化，

  上述过程循环重复直至收敛。

注意：

固定后，执行E步：，该步骤使Jensen不等式成立，

即:;

固定后，对上面的求导后令导数等于0得到，，

得到时，只是最大化了，也就是的下界。