EM算法原理

集群之后,我们经常要用到EM算法(i.e. Estimation - Maximization)预计参数, 函数的凹/凸性,在estimation和maximization两步中迭代地进行參数预计。并保证能够算法收敛。达到局部最优解。

PS:为了不在11.11这个吉祥的日子发blog,还是打算今天发了。祝单身coder节日快乐,心情愉快~~


因为公式实在太多,这里我就手写了……主要讲了下面几个部分:

1. 凸集,凸函数,凹集,凹函数的概念

2. Jensen's inequality

3. EM算法两步迭代过程与收敛性证明


以下就这三部分予以介绍:

EM算法原理_第1张图片


EM算法原理_第2张图片


EM算法原理_第3张图片


发现好东西了,我的这个看着不是非常清晰,大家能够看这个人写的http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html~



关于Machine Learning很多其它的学习资料与相关讨论将继续更新,敬请关注本博客和新浪微博Sophia_qing






你可能感兴趣的:(算法)