机器学习---EM算法(分类)

很多时候算法没有搞明白其实是一堆符号没有明白是神马意思...所以本文，着重告诉大家，这堆符号，到底都，代表神马！

以下使用到的图片来自上海交大杨旸老师的课件，网址如下：http://bcmi.sjtu.edu.cn/~yangyang/ml/

我们首先来宏观认识一下EM算法。其实EMs就是K-means的升级版，也是就是说K-means是EM的一种特殊情况~相当于一个二维一个多维的关系

分割线前边讲算法，后边讲证明。

想知道K-means是神马？看下图（中文解释在上一篇）：

有的时候分类并不是简单的一个函数就OK的，于是我们需要把很多函数组合起来，于是就有了MM（Mixture Models），如果组合的那些函数都是高斯函数，那就是GMM（Gausian Mixture Model）

和上一节测度的区别就是：

测度是改变训练数据 X 来使得分类更加容易（准确）

混合模型是改变分类模型来增加分类的准确率

第一个式子没看懂

如果分类标签Zn = k , 那么Znk就是1，如果不等于，则为0...好像是这样的，但是具体神马含义呢0.0

第二个式子：

当zn 取 k的概率为1时（也就是zn = k）的情况下 xn 发生的概率。

那个sigma如果在高斯里边可以理解为方差，这里边也可以换成别的~比如：如果换成对角线全为1的矩阵，就变成了K-means。

第三个式子：

上图 u 前边那个竖线可以不用管他，N这个就代表高斯模型，u 就是均值，后边那个sigma就是方差。如果一定要翻译 | 它的话，那就是当x在后边的均值和方差的条件下，我们可以这样计算概率。

pie 就是各个模型前边的系数，以多大的比例对这个模型产生影响。

上边那个式子，就是每个实例的标签为训练标签的概率

下面这个PPT上的公式就是把这些概率乘起来，下面会解释为什么要乘起来

D = 那个式子的意思是，数据集里有N个实例x

下边那个式子那前边一样。我再通俗地啰嗦地解释一下这个式子为神马写成这个样子：

我们从里向外依次解释哈~

pie * N： 代表每个模型 N 都不是完全作用于这个分类器的，它们以系数 pie 的比例参与到分类器中。

sigma：代表把上边的那些部分参与的分类器（共 k 个）都加起来，这样就可以算最终的概率啦。

连乘： 我们需要使得每个预测样本被正确分到它那一类的概率最大，等价于所有的正确分类的概率相乘最大。

那么你怎么知道这些概率就是正确的概率呢？因为我们现在还在训练样本，亲，标签也包含在公式里。（如果不太理解，可以看一下本页上一个PPT或者之前SVM那篇文章后半部分）

argmax就是求让L最大的pie, u, sigma。可以通过求导来求（可以看一下之前SVM那篇文章后半部分）

如果我们不知道 Zn呢？我们可以先猜一个u和sigma，然后算出 Zn，再根据算出的 Zn 求u和sigma，如此不断循环

其实和K-means很像啦

=========================================我是分割线===========================================

其实我觉得到这里已经讲清楚了EM（特殊情况 K-means）算法是怎么应用在 MM （含GMM）上了，下边的内容没啥用吧。。

就是证明EM算法可以找到最优解（局部最优）

=========================================我是分割线===========================================

E是根据随机产生（首次使用）或者根据之前的标签算得的系数（例如：u, sigma）计算标签（分类）的过程

M是根据上一步产生的新的标签更新系数的过程

第一个公式就是如果标签 Z 是已知的，那么 l 是很好求的

第二个公式就是如果 Z 是不知道的，那么这个式子并不好求，因为sigma在log里边，据说推导一下公式就会发现求不出来。。所以我们下一步就要把sigma弄出来

于是我们就给第二个式子找了个上界，也算是半等价吧

我们把上边那个 l 改了个名字，叫 F

一个方向是概率，一个方向是系数，刚好对应E和M两个过程~

下边这个图没看明白。。嗯。。

然后就总结了~good！