EM

Jensen 不等式

由于满足这两个条件，则认为θ1_{θk为样本x1}xk或f（x1）~f(x2)的概率分布

则f(θ1x1+…θkxk）
其中θ1x1+…θkxk可以看做是E（x）
θ1f（x1）+…+θkf（xk）可以看做是E（f（x））
则可以得到f（E（x））≤E（f（x））(对于连续分布根据期望定义也可得到这个结果）

极大似然估计

EM算法的引出

考虑一下这样的问题

随机变量是由K个高斯分布很合而成，与之前的Kmeans相比，Kmeans是假设各样本服从同一个高斯分布。这里则假设随机变量有K个高斯分布混合而成，且假设取每个高斯分布的概率为πk，比kmeans算法多了一个参数π。那么该如何确定π μ σ 这三个参数确定的高斯混合模型呢？

对上图过程进行实例化解释

估算数据来自哪种分布？

如 男女身高例子中，先假设男身高服从N（1.75,10）女身高N（1.6,10）
则拿到一个样本，值（身高）为1.9，则根据上述概率密度函数，可以算出其对应的概率分别为，将1.9带入高斯分布的概率密度函数中

分别得到 0.84 和 0.71
再假设取两个分布的概率相同，及π1=π2=0.5，此时，
γ（1，1）=0.50.84/(0.50.84+0.50.71)=0.535
γ（1，2）=0.50.71/(0.50.84+0.50.71)=0.465
将所有的样本均进行如上步骤的操作，均可以算出两个数值
对于身高为1.9m的样本，则可以计算出1.9m中有1.9X0.535=1.018m 属于男 1.9X0.465=0.882m属于女
所有样本均可以同理得到相同的两个数值

估计两个组成成分（男性和女性）的参数（μ σ π）

将所有属于男性的数据都取出来，由于符合正态分布，可以计算出新的μ 和σ
注意 在计算均值和方差是，这时的正态分布对应的样本数n为γ（i，）的和*样本总数
如，经过计算，γ11=0.535，γ12=0.465；γ21=0.5，γ22=0.5；。。。γi1=0.4，γi2=0.6
则认为经过此轮计算，男性样本为nX（γ11+γ21+。。。+γi1）
则认为经过此轮计算，女性样本为nX（γ12+γ22+。。。+γi2）
得到两个正态分布新的σ 和μ 根据次轮的计算结果，根据得到的男性和女性的样本数还可以计算出π1 π2 再重复上述过程进行迭代直到参数收敛

上述过程也就是EM算法的步骤

EM算法的严格数学推导

问题的提出

建立目标函数（极大似然估计）

Jensen不等式

为了使等号成立

则 Q 与p成正比

最后得到EM算法框架

GMM算法

E-step

在前述实例中w（i=1，j=男）=0.84
w（i=1，j=女）=0.71

M-step