高斯混合模型原理推导与实现（一）

Gaussian Mixture Model

1.Jensen Inequality（琴生不等式）:

                                          

,    

                            

                                                           

离散形式：

           

连续形式：

                                                              

                                                                                  

概率形式：

                                                                          

也就是期望的函数值小于等于函数值的期望。

2.极大似然估计的困境

对于训练数据集，，假设i来自一个混合高斯概率分布，对数似然函数为：

                                             

这里log里面有求和，不方便继续求导计算。假设存在隐变量，

设是的概率分布，这里最终要求的是混合高斯概率分布（就是说这对数据可以由最终的概率分布产生）是由多个高斯分布加权组成，每个独立的多维高斯分布都有自己的均值向量和协方差矩阵，因此隐变量服从类别分布（离散）。

根据Jensen不等式:

 

                                             

依据上面的公式将似然函数进行缩放：

                                                    

根据琴生不等式等号成立的条件：

                                                                                  

可以得到E step

                                        

表示第i个样本来自第j个高斯分布的概率，也就是说W是一个n_samples*n_components的矩阵。

3.M step:

迭代进行极大化似然函数的下限，来不断逼近似然函数的最大值

                                                    

下面证明迭代算法求最大值的正确性:

设第t轮对数似然函数为：

                                                   

对于第t+1轮，最大化似然函数的下限值求得的有

                                                     

因此似然函数值在迭代过程中是不断增大的。            

对于特定组分的高斯分布密度函数为：     

                                         

最大化这个下限表达式采用求导的方法，先将上面的概率密度函数代入：                                

                     

对上述表达式关于均值向量协方差求导：

                  

得到类别先验分布和各个高斯分布的期望向量矩阵和协方差矩阵：

                                                            

原理讲完了，代码实现参见https://blog.csdn.net/to_be_to_thought/article/details/90760277

参考文献：

吴恩达CS229：https://see.stanford.edu/Course/CS229