自学机器学习笔记（二十一）

K-均值聚类

假设空间由N个点{Xi}，i=1，2，……N，我们把这N个点划分为K类，对每个点设置一个隐含变量{Zi}i=1，2，……N，Zi取值范围为1，2，……K。表示相应的Xi所属类别，我们要将同一类别的点的欧氏距离比较近，因此我们设置每一个类别的中心为C1，C2……CK

K均值聚类的优化目标

最小化：

要合理选取每个点的类别和类别的中心，这是一个非连续的优化问题，我们把这类优化问题叫整数规划。

问题难点：不知道Zi和Ci，我们可以通过Zi求出Ci，也可以通过Ci求出Zi，但是都不知道。EM算法就可以解决这一问题。

期望最大化算法(EM算法）

核心思想：假设：知道A和B中的一个，给A赋一个初值，然后估计B，根据获得的B估计A，不断循环，知道A和B收敛为止。

K均值算法的流程

 注：最终的聚类结果和初始类别赋值有关

K均值算法求得的是目标函数E的局部极值

应用：图像像素值的矢量量化

对于一个彩色图片，我们用24个比特表示每一个像素的RGB值：RGB值分别是8个像素

可以用K均值聚类进行聚类，基于K均值聚类我们可以大大节约图像存储空间，因为我们不需要传输图像中每个像素的值，我们只需要传输每个聚类的RGB值以及每个像素所属类别的值。
高斯混合模型 

高斯概率密度函数

 在高斯分布的假设下，基于一组训练数据，我们可以引用上述公式估计它的均值和协方差矩阵从而完成数据概率密度函数的建模

然而数据是高斯分布的假设过于强烈，实际数据分布不是高斯分布。

可能是两个或多个高斯分布的线性叠加，我们把这个分布叫高斯混合分布（GMM)

假设：数据是由K个高斯概率密度函数混合而成的高斯混合分布：

 

 高斯混合模型要做的事情

 这时我们需要期望最大算法(EM算法）

求解高斯混合模型流程

 

 

 具体应用：

（1）视频的前景检测和背景建模

GMM要实现对视频帧中的限速进行前景与背景的二分类

(2)说话人识别