【机器学习】k-means与KNN及GMM的区别与联系

与KNN的区别：

• KNN为分类，K-means为聚类；
• KNN为监督学习，K-means为无监督学习；
• KNN的输入样本为带label的，K-means的输入样本不带label；
• KNN没有训练过程，K-means有训练过程；
• K的含义不同
  • KNN：直接把待分类点周边最近的k个点计数，数量多的那类定为待分类点的类别。无训练的过程。
  • K-means：先定好k个类别，然后随机确定k个坐标（聚类中心），各点离哪个坐标近就算做哪类，然后不停算平均值求出中心，直到稳定，聚类完成。有训练的过程。

与KNN的相同点：

都是计算最近邻，一般都用欧氏距离。

问题

k-means和GMM（高斯混合模型）都是聚类算法，这两者其实也有一定的相似之处，值得我们探究一下。通过之前的整理，我们对k-means算法已经有了一定的了解，这里就着重补充一下GMM的内容以及它们之间的区别与联系。

高斯混合模型（GMM）

● 定义：高斯混合模型是指具有如下形式的概率分布模型：