EM算法在高斯混合模型学习中的应用

EM算法在高斯混合模型学习中的应用

之前我介绍了EM算法今天来简单介绍一下，EN算法在高斯混合模型学习中的应用，这句话什么意思呢？
说明，我们现在需要学习的模型是一个高斯混合模型，是一个由许多不同的高斯模型线性组合形成的模型，但是现在我们不知道每个模型的参数和与其相乘的系数。前面我介绍过加法模型，高斯混合模型其实就是把加法模型中的基函数都换成高斯概率模型。
下面给出数学表达式：


现在我们需要确定的参数其实就是每个高斯混合模型的均值和方差，还有其对应的系数。

其实大家可能回想为什么加入的隐变量是这个，这里我觉得吧！如何在使用EM算法使其能正确求解问题，最关键的地方就是隐变量的加入，那么问题来了这个隐变量怎么加入呢？
注意这个问题十分关键，这个隐变量的加入，必须能够代表未知的但已有的有价值的信息，而且应该能够帮助更新学习的参数。
那么如果有了一批训练数据，让你给出它的高斯混合模型，且其观测数据都为0，1则需求解最大似然函数为

下面的就是EM算法的E步和M步，即求这个似然函数的期望，这里的求期望其实作用就是把上面的隐变量用已知数据代替然后再利用隐变量和已知数据更新所要求的参数，方法即是，求导使其为0，求解。