EM算法在高斯混合模型中的应用（详细解释与求解）

1、高斯混合模型GMM

是指具有以下概率分布的模型：

$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (y|{\theta }_k)$

可以看做是$K$个单高斯模型的线性组合，其中${\alpha }_k$是第$k$个单高斯模型的$\varphi (y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}exp(-\frac{(x-{\mu }_k{)}^2}{2{\sigma }_k^2})$（模型参数${\theta }_k=({\mu }_k,{\sigma }_k)$）的系数，可以认作是权重，满足 $\sum _{k=1}^K{\alpha }_k=1$。

2、EM算法应用于GMM

首先介绍EM算法步骤:

具体内容参考EM算法比较

假设观测序列$y_1,y_2,...,y_n$ 产自以上混合高斯模型，对于某个观测值 $y_i$可以认为是依概率 ${\alpha }_k$选择了第$k$个分模型$\varphi (y|{\theta }_k)$。我们做以下标记：

如果$y_i$来自第$k$个模型，那么${\gamma }_{ik}=1$，否则${\gamma }_{ik}=0$。

这个${\gamma }_{ik}$也就是隐变量了，因为我们只知道$y_i$而不知道它来自哪个模型。
补充：或者这样理解$p(z_j=k|y_j;{\theta }_k)$，同样是给出了样本$y_j$由第$k$个分模型产生的后验概率。等价于$P({\gamma }_{jk}=1|y_j,{\theta }_k)$。所以对前者求期望和对后者求期望是一样的，接下来使用的是后者（或许前者更容易理解）。

根据EM算法的E步：假设模型参数已知的情况下求隐含变量Z分别取z1,z2,…的期望，亦即Z分别取z1,z2,…的概率

$$\begin{gathered} w_{jk} \\ =E({\gamma }_{jk}|y_j,{\theta }_k) \\ =P({\gamma }_{jk}=1|y_j,{\theta }_k) \\ =\frac{P({\gamma }_{jk}=1,y_j|{\theta }_k)}{\sum _{k=1}^{K}P(y_j|{\gamma }_{jk}=1,{\theta }_k)P({\gamma }_{jk}=1|{\theta }_k)} \\ =\frac{P(y_j|{\gamma }_{jk}=1,{\theta }_k)P({\gamma }_{jk}=1|{\theta }_k)}{\sum _{k=1}^{K}P(y_j|{\gamma }_{jk}=1,{\theta }_k)P({\gamma }_{jk}=1|{\theta }_k)} \\ =\frac{{\alpha }_k\varphi (y_j|{\theta }_k)}{\sum _{k=1}^K{\alpha }_k\varphi (y_j|{\theta }_k)} \end{gathered}$$

$w_{jk}$表示在当前模型下，$y_j$来自模型第$k$个模型的概率，如果$j=1->4$，$k=1->3$那么就得计算12次，对于每个$j$，分别求$w_{j1},w_{j2},w_{j3}$，所以很容易得到$$\begin{gathered} E({\gamma }_{jk}|y_j,{\theta }_k) \\ =P({\gamma }_{jk}=1|y_j,{\theta }_k)\cdot 1+P({\gamma }_{jk}=1|y_j,{\theta }_k)\cdot 0 \end{gathered}$$。对于第四个等号是贝叶斯公式。对于第六个等号则是在介绍这章最开始介绍的对于取$y_i$的假设，即：对于某个观测值 $y_i$可以认为是依概率 ${\alpha }_k$选择了第$k$个分模型$\varphi (y|{\theta }_k)$。

E步计算完毕，那么进行M步，使用$Q$函数进行极大似然估计，求出模型参数${\theta }_k=({\alpha }_k,{\mu }_k,{\sigma }_k)$，下面开始推导
说明：下面的$p_{\theta }()和p(;\theta )$是一样的，只是写法不同，都只是表示模型参数是$\theta$而已。

$$\begin{gathered} Q(\theta |{\theta }_n)=\sum _{i=1}^n\sum _{z}P(z|y_i;{\theta }_j)lo{g}^{P(y_i,z|\theta )} \\ =\sum _{i=1}^n\sum _{k=1}^K{w}_{ik}logP(y_i|{\gamma }_{ik}=1;\theta )P({\gamma }_{ik}=1|\theta ) \\ =\sum _{i=1}^n\sum _{k=1}^K{w}_{ik}log{\alpha }_k\varphi (y_j|{\theta }_k) \\ =\sum _{i=1}^n\sum _{k=1}^K{w}_{ik}log{\alpha }_k\frac{1}{\sqrt{2\pi }{\sigma }_k}exp(-\frac{(y_i-{\mu }_k{)}^2}{2{\sigma }_k^2}) \\ =\sum _{i=1}^n\sum _{k=1}^K{w}_{ik}\{log{\alpha }_k-log\sqrt{2\pi }{\sigma }_k-\frac{(y_i-{\mu }_k{)}^2}{2{\sigma }_k^2}\} \end{gathered}$$

$\frac{\partial Q}{\partial {\mu }_k}=\frac{\sum _{i=1}^n{w}_{ik}(y_i-{\mu }_k)}{{\sigma }_k^2}=0$
$=>{\mu }_k=\frac{\sum _{i=1}^n{w}_{ik}{y}_i}{\sum _{i=1}^n{w}_{ik}},k=1,2,...,K$

注意：因为是对某个$k^{\prime }$，所以关于$k$的求和符号最后只剩关于这个$k^{\prime }$的项。

$\frac{\partial Q}{\partial {\sigma }_k}=\sum _{i=1}^n{w}_{ik}\{-\frac{1}{{\sigma }_k}-\frac{(y_i-{\mu }_k{)}^2}{2}\cdot \frac{-2}{{\sigma }_k^3}\}=0$

$=>\frac{\sum _{i=1}^n{w}_{ik}(y_i-{\mu }_k{)}^2}{{\sigma }_k^3}=\frac{\sum _{i=1}^n{w}_{ik}}{{\sigma }_k}$

${\sigma }_k^2=\frac{\sum _{i=1}^n{w}_{ik}(y_i-{\mu }_k{)}^2}{\sum _{i=1}^n{w}_{ik}}$

关于${\alpha }_k$的推导就不要去直接求导然后令导数为0了，因为还有个限制条件 $\sum _{k=1}^K{\alpha }_k=1$，所以得用拉格朗日函数。

$L({\alpha }_k,\beta )=\sum _{i=1}^n\sum _{k=1}^K{w}_{ik}\{log{\alpha }_k-log\sqrt{2\pi }{\sigma }_k-\frac{(y_i-{\mu }_k{)}^2}{2{\sigma }_k^2}\}+\beta (1-\sum _{k=1}^K{\alpha }_k)$

$\frac{\partial L}{\partial {\alpha }_k}=\sum _{i=1}^n\frac{w_{ik}}{{\alpha }_k}+\beta =0$
$=>-\frac{\sum _{i=1}^n{w}_{ik}}{\beta }={\alpha }_k$（1）

$\frac{\partial L}{\partial \beta }=1-\sum _{k=1}^K{\alpha }_k=0$

$=>\sum _{k=1}^K{\alpha }_k=1$ （2）

对（1）两边对 ${\alpha }_k$ 进行求和
$-\frac{\sum _{k=1}^K\sum _{i=1}^n{w}_{ik}}{\beta }=\sum _{k=1}^K{\alpha }_k=1$
$=>\beta =-\sum _{k=1}^K\sum _{i=1}^n{w}_{ik}$，带入到（1）得到：

$=>\frac{\sum _{i=1}^n{w}_{ik}}{\sum _{k=1}^K\sum _{i=1}^n{w}_{ik}}={\alpha }_k$ （3）

由于$w_{ik}=\frac{{\alpha }_k\varphi (y_i|{\theta }_k)}{\sum _{k=1}^K{\alpha }_k\varphi (y_i|{\theta }_k)}$
显然$\sum _{k=1}^K{w}_{ik}=1$

（3）式的分母是满足交换律，将$w_{ik}$带入得到（3）最终得到:

${\alpha }_k=\frac{\sum _{i=1}^n{w}_{ik}}{n}$

将求得的三个参数当做下一次EM算法E步的参数继续下去直到收敛。