k-means与EM算法小结

        EM算法像是k-means的应用场景,比如双峰分布的数据,k-means方法,将其看成2-means聚类的方法处理场景。

        k-means算法,也被称为k-平均或k-均值,是一种广泛使用的聚类算法,或者成为其他聚类算法的基础。

       假定输入样本为,则算法步骤为:

        (1)选择初始的k个簇中心u1,u2,...,uk

        (2)将样本xi标记为距离簇中心最近的簇:

        (3)更新簇中心:

        (4)重复最后两步,直到满足终止条件。(迭代次数/簇中心变化率/最小平方误差MSE)

          思考:经典的K-means聚类方法,能够非常方便的将未标记的样本分成若干簇;但无法给出某个样本属于该簇的后验概率。

 

         从直观理解猜测GMM的参数估计

         随机变量X是有K个高斯分布混合而成,取各个高斯分布的概率为,第i个高斯分布的均值为。若观测到随机变量X的一系列样本,试估计参数

          建立目标函数

k-means与EM算法小结_第1张图片

        由于在对数函数里面又有加和,我们没法直接用求导解方程的办法直接求得极大值。分成两步。

        第一步:估算数据来自哪个组份

       估计数据由每个组份生成的概率,对于每个样本xi,它由第k个组份生成的概率为。

       k-means与EM算法小结_第2张图片

 上式中的也是待估计的值,因此采样迭代法:在计算。但是(1)需要先验给定;(2)亦可看成组份k在生成数据xi时所做的贡献。

        第二步:估计每个组份的参数

       对于所有的样本点,对于组份k而言,可看做生成了这些点。组份k是一个标准的高斯分布。

k-means与EM算法小结_第3张图片

 

EM算法的提出

(1)假定有训练集包含m个独立样本,希望从中找到该组数据的模型P(x,z)的参数。

(2)取对数似然函数

k-means与EM算法小结_第4张图片

其中z是隐随机变量,不方便直接找到参数估计。策略:计算下界,求该下界的最大值;重复该过程,直到收敛到局部最大值。

k-means与EM算法小结_第5张图片(图像摘自七月算法)

(3)Jensen不等式。令Qi是z的某一个分布,Oi》0,有:

k-means与EM算法小结_第6张图片(图像摘自七月算法)

(4)为了使等号成立

k-means与EM算法小结_第7张图片

(5)进一步分析

k-means与EM算法小结_第8张图片

(6)EM算法整体框架

k-means与EM算法小结_第9张图片

 

从理论公式推导GMM

(1)随机变量X是有K个高斯分布混合而成,取各个高斯分布的概率为,第i个高斯分布的均值为ui,方差为。若观测到随机变量X的一系列样本,试估计参数

(2)E-step

    

          M-step

        将多项分布和高斯分布的参数带入

    k-means与EM算法小结_第10张图片

(3)对均值求偏导

k-means与EM算法小结_第11张图片

令上式等于0,解出均值

k-means与EM算法小结_第12张图片

同理,求偏导,等于0,得到高斯分布的方差

k-means与EM算法小结_第13张图片

(4)多项分布的参数。

考察M-step的目标函数,对于,删除常数项。则

k-means与EM算法小结_第14张图片

(5)拉格朗日乘子法

由于多项分布的概率和为1,建立拉格朗日方程

k-means与EM算法小结_第15张图片

这样求解的一定非负,所以,不用考虑》0这个条件

求偏导,等于0

k-means与EM算法小结_第16张图片

(6)回到(2)E-step继续迭代,直到达到局部最优值

 

带有隐变量,往往可以用EM算法来求解。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(机器学习算法)