EM算法深入浅出

最近学习了下EM算法,看了下李航的《统计学习方法》第九章EM算法,被一堆理论+公式看的云里雾里的,头大。但是幸好看了从最大似然到EM算法浅解博文,对EM算法算是有了感性的认识,然后拜读Jerry大师的(EM算法)The EM Algorithm的理论分析,醍醐灌顶的感觉,总结如下(某大牛的分享):

我理解的EM算法是最大似然估计方法--参数估计方法的一种 为什么要引入EM呢 我觉得 因为参数theta本身是依赖于数据的完整特征 但是只观察了部分特征X 因此需要引入隐藏特征Z 才能建立起theta与X,Z的关系。
怎么开始这个过程呢?我们现在自己的脑袋里假设存在一个theta(当然我们未知) 利用这个theta对数据进行了采样 由于每个数据的X特征已知 只须采样每个样本的Z特征 (这是一次实验) 利用实验观察的数据(X,Z)来修正我们对theta的理解,即使最大化似然函数的theta值作为新值;然后利用新的theta来做下一次实验 再利用新的数据修正我们对当前theta的理解 。不断重复上述过程 直到现实的观察与我们对世界的理解基本吻合 就停止实验。
至于EM算法为什么容易陷入局部最优解 要采取多次随机初始化呢?我认为 每个人对世界的认识都有限 只能根据自己的经验去判断 与外界缺乏联系 因此 只能做到自己认为的最好。

你可能感兴趣的:(机器学习)