EM 期望最大算法

1.极大似然估计

众所周知，极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

我们先来假设这样一个问题：要求解人群（100人）中男女身高的分布，这里很明显有两种分布，男和女，但是事先我们并不知道他们服从哪种分布，而且我们也不知道男的有多少人，女的有多少人，那么怎么办呢？如果我们用混合高斯模型（GMM），我们假设男和女的分布都是符合高斯分布的，然后给定这个高斯分布一个初始值，这样这个高斯分布就是已知的了。接着，用这个已经的高斯分布来估计男的多少人，女的多少人，假设男和女的类别分布为Q(z)，这样我们就可以求Q(z)的期望了，用期望来表示下一次迭代类别的初始值，这样我们就知道男和女的所属类别了，我们就可以用最大似然函数来估新的高斯模型的参数了。重复上述步骤，直到收敛。

多数情况下我们是根据已知条件来推算结果，而极大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。

2.EM 算法推导

EM算法要解决的问题是： 

（1）求出每一个样本属于哪个分布 。

（2）求出每一个分布对应的参数。

期望最大算法（EM算法）是一种从不完全数据或有数据丢失的数据集（存在隐含变量）中求解概率模型参数的最大似然估计方法。EM算法缺陷之一：传统的EM算法对初始值敏感，聚类结果随不同的初始值而波动较大。总的来说，EM算法收敛的优劣很大程度上取决于其初始参数。EM，最大优点：简单性和普适性。

我们下面来探讨EM算法的一般形式。

suppose we have a training set  consist of  m independent examples，假设样本的类别z服从某种未知的分布，那么对于这种隐含变量的模型我们可以求出它的似然函数为（求似然函数是为了求解我们假设模型中的各个参数，我们在求解一个分类或者回归问题时，通常需要选定一个模型，比如NB，GDA，logistic regression，然后利用最大似然求解模型的参数）：

我们的方法是假设，首先假设一个模型参数θ，然后每个样本来自样本中某个分类的概率p(zi)就能算出来了，似然函数可以写成含有θ的函数，极大化它我们可以得到一个新的θ。新的θ因为考虑了样本来自哪个分布，会比原来的更能反应数据规律。有了这个更好的θ我们再对每个样本重新计算它来自样本某个类的概率，用更好的θ算出来的概率会更准确，有了更准确的信息，我们可以继续像上面一样估计θ，自然而然这次得到的θ会比上一次更棒，如此循环，直到收敛（参数变动不明显了），理论上，EM算法就说完了。

然而事情并没有这么简单，上面的思想理论上可行，实践起来不成。主要是因为似然函数有“和的log”这一项，log里面是一个和的形式，一求导这画面不要太美，直接强来你要面对 “两个正态分布的概率密度函数相加”做分母，“两个正态分布分别求导再相加”做分子的分数形式。m个这玩意加起来令它等于0，要求出关于θ的解析解，你对自己的数学水平想的不要太高。

　　怎么办？先介绍一个不等式，叫Jensen不等式，是这样说的：

首先我们来给出Jensen不等式的定义：

定理很简单，如果f是一个凸函数并且二阶导数大于零（上文中有提出），则有。进一步， 若二阶导数恒大于 0，则不等式等号成立当且仅当 x=E[x]，即 x 是固定值。若二阶导数的不等号方向逆转，则不等式的不等号方向逆转。如下图：

X是一个随机变量，f(X)是一个凸函数（二阶导数大或等于0），当且仅当X是常数的时候等号成立，如果f（X）是凹函数，不等号反向。  

半路杀出一个Jensen不等式，要用它解决上面的困境也是应有之义，不然说它做什么。直接最大化似然函数做不到，那么如果我们能找到似然函数的一个紧的下界一直优化它，并保证每次迭代能够使总的似然函数一直增大，其实也是一样的。怎么说？画个图你就明白了：

横坐标是参数，纵坐标是似然函数，首先我们初始化一个θ1，根据它求似然函数一个紧的下界，也就是图中第一条黑短线，黑短线上的值虽然都小于似然函数的值，但至少有一点可以满足等号（所以称为紧下界），最大化小黑短线我们就hit到至少与似然函数刚好相等的位置，对应的横坐标就是我们的新的θ2，如此进行，只要保证随着θ的更新，每次最大化的小黑短线值都比上次的更大，那么算法收敛，最后就能最大化到似然函数的极大值处。

构造这个小黑短线，就要靠Jensen不等式。注意我们这里的log函数是个凹函数，所以我们使用的Jensen不等式的凹函数版本。根据Jensen函数，需要把log里面的东西写成一个数学期望的形式，注意到log里的和是关于隐变量Z的和，于是自然而然，这个数学期望一定是和Z有关，如果设Q(z)是Z的分布函数，那么可以这样构造：

所以log里其实构造了一个随机变量Y，Y是Z的函数，Y取p/Q的值的概率是Q，这点说的很清楚了。构造好数学期望，下一步根据Jensen不等式进行放缩：

有了这一步，我们看一下整个式子：

也就是说我们找到了似然函数的一个下界，那么优化它是否就可以呢？不是的，上面说了必须保证这个下界是紧的，也就是至少有点能使等号成立。由Jensen不等式，等式成立的条件是随机变量是常数，具体到这里，就是：

又因为Q（z）是z的分布函数，所以：

把C乘过去，可得C就是p(xi,z)对z求和，所以我们终于知道了：

得到Q(z)，大功告成，Q(z)就是p(zi|xi)，或者写成p(zi)，都是一回事，代表第i个数据是来自zi的概率。

于是EM算法出炉，它是这样做的：

　　首先，初始化参数θ

　　（1）E-Step：根据参数θ计算每个样本属于zi的概率，这个概率就是Q

　　（2）M-Step：根据计算得到的Q，求出含有θ的似然函数的下界并最大化它，得到新的参数θ

　　重复（1）和（2）直到收敛，可以看到，从思想上来说，和最开始没什么两样，只不过直接最大化似然函数不好做。

需要额外说明的是，EM算法在一般情况是收敛的，但是不保证收敛到全局最优，即有可能进入局部的最优。EM算法在混合高斯模型，隐马尔科夫模型中都有应用，是著名的数据挖掘十大算法之一。

3.举栗子说明

附上具体应用的EM求解过程：

第二个例子：投掷硬币，不知道到底是A或B哪个投掷出来的，根据投掷的结果，求A B的投掷正面概率。