学习笔记三：GMM模型以及EM算法理解及代码实现

第三章 GMM模型以及EM算法

1.潜变量模型

使用潜变量解释观测变量的数学模型，称之为潜变量模型

潜变量模型将不完全数据（观测数据）的边缘分布转换成容易处理的完全数据（观测数据+潜变量）的联合分布。

观测变量：可以观测到的

潜变量：需要通过模型和观测变量进行推断的

对于上图，这些点可以直接观测出来，属于观测变量，而对于这些点的分类却需要进行推理，故属于潜变量

2.K-means聚类

• 问题定义：给定N个点，然后将这N个点聚类到K个类别中，K值已知

• K-means思路：

  1. 引入K个向量μ，每个μ均表示当前的聚类中心

  2. 计算出当前点位和所有聚类中心的距离（欧氏距离），来判断当前的点该属于哪个聚类

  3. 根据聚类的结果，再次更新聚类中心

  4. 重复第二步，直到所有的点不再变换类别为止

• 引入潜变量：

  • 对于每个数据点，都引入一个二进制标识，如果某个点属k类，则标为1，否则标为0

  • 目标函数
    $$J=\sum _{n=1}^N\sum _{K=1}^K{r}_{nk}||x_n-{\mu }_k|{|}^2$$

  • 优化目标：需找合适的数据表示{$r_{nk}$}和聚类中心{${\mu }_k$}，使得目标函数J最小

• 模型优化：两阶段迭代优化（初识EM）

  • 选择初始${\mu }_k$，保持${\mu }_k$固定，寻找可以使得损失函数J最小的$r_{nk}$
    $$r_{nk}=\{\begin{array}{ll}1,& \text{if }k\text{ = arg }mi{n}_j||X_n-{\mu }_j|{|}^2\\ 0,& \text{otherwise }\end{array}$$

  • 保持$r_{nk}$固定，寻找可以使得损失函数最小的${\mu }_k$
    

    此处${\sum }_n{r}_{nk}$表示第k类中的数据点

3.GMM模型

高斯分布

4.EM算法

5.实践

gussian(x,mu,sigma)

参考公式：

对数似然函数：calc_log_likelihood(X)

参考公式7：

em_estimator(X) 重新计算对数似然

参考公式：

运行结果示意：