11 GMM——高斯混合模型

11 GMM——高斯混合模型

11.1 模型介绍

从几何角度来说：

• 高斯混合模型表示：加权平均——由多个高斯分布混合叠加而成，如图
  

• 公式可以表达为：
  $$p(x)=\sum _{i=1}^K{\alpha }_i\cdot N(x|{\mu }_i,{\Sigma }_i),\sum _{i=1}^K{\alpha }_i=1$$

若从混合模型的角度来说：

• 数据可以表示为：
  $$\{\begin{array}{l}x:X={\{x_i\}}_{i=1}^N\\ z:Z={\{z_i\}}_{i=1}^N\end{array}\{\begin{array}{l}z\in \{C_1,C_2,\dots ,C_K\}\\ P(z)\in \{p_1,p_2,\dots ,p_K\}\end{array}$$

• 其中$x$表示ovserve variable，$z$表示latent variable

• 这里的隐变量$z$表示样本X分别属于哪一个高斯

从概率图的角度看，GMM是概率生成模型，可以从隐变量的分布中生成N个数据，如下图：

11.2 通过MLE估计参数

首先简单的导出一下GMM的公式（核心思想就是引入$z$）：
$$P(x)=\sum _{i=1}^{K}P(x,z=C_i)=\sum _{i=1}^{K}P(x,z=C_i)=\sum _{i=1}^{K}P(z=C_i)P(x|z=C_i)=\sum _{i=1}^K{p}_i\cdot N(x|{\mu }_i,{\Sigma }_i)$$
假设我们直接用MLE去进行参数求解，有：
$$\begin{array}{rl}{\hat{\theta }}_{MLE}& =arg\underset{\theta }{\max }\log P(X)\\ & =arg\underset{\theta }{\max }\sum _{i=1}^N\log P(x_i)\\ & =arg\underset{\theta }{\max }\sum _{i=1}^N\log \sum _{j=1}^K{p}_j\cdot N(x_i|{\mu }_j,{\Sigma }_j)\end{array}$$
我们发现公式中的对数还嵌套了累加运算，导致无法通过MLE求的解析解。

11.3 EM求解

由于无法求的解析解，我们只能通过近似方法求的近似解，通过GMM的性质，我们可以代入EM公式：