EM（expection maxium）算法

        花了一下午时间，看EM（expection maxium）算法，总算有点眉目了。EM简介，网上有不少的文章，在此并不想自己去总结了，

但是可以花时间整理下，以使初学者能够更方便的学习EM算法。下面是我整合在网上找到的其他人的文章，算是一个简单的总结吧！

描述：EM是一种基于模型的聚类算法，假设样本符合高斯混合模型,算法的目的是确定各个高斯部件之间的参数，充分拟合给定数据，

并得到一个模糊聚类，即每个样本以不同概率属于每个高斯分布，概率数值将由以上个参数获得。

         这是看别人的描述，看起来觉得有点儿抽象，啥叫高斯混合模型呢，查下原来高斯模型又叫正态分布模型，晕，这不是以前学过

正态分布吗，干嘛搞得这么神秘。为啥叫混合呢，原来是混合模型是这样定义的几个模型，线性加和就得到混合模型，实质上就是给每一个模型加上一个权重，几个模型都乘以一个权重数，权重的和是1。这样，明白了高斯混合模型就是多个高斯模型的加和，只不过给每一个模型都赋予一个权重值罢了。

        感觉最抽象的还是迭代过程，E过程、M过程，后来明白E过程就是求期望的过程，为什么要求期望呢，原因就是为了让似然函数中的参数变得只有一个，就是要要估计的参数，然后才可以在M过程中求似然函数的极大值，得到新的参数估计值。这样不断的进行迭代。也就是说E过程加上M过程即使一个不断的修正参数的过程，直到算法收敛。

        EM只能保证局部最优，而不能保证全局最优，对初始值很敏感，缺失的值不能太多，维数不能太高。

http://www.heneita.com/?post=33