kmeans算法原理介绍

基本思想

    1、选取K个点做为初始聚集的簇心

    2、分别计算每个样本点到 K个簇核心的距离（这里的距离一般取欧氏距离或余弦距离），找到离该点最近的簇核心，将它归属到对应的簇

    3、所有点都归属到簇之后， M个点就分为了 K个簇。之后重新计算每个簇的重心（平均距离中心），将其定为新的“簇核心”；

    4、反复迭代 2 - 3 步骤，直到达到某个中止条件

  常用的中止条件有迭代次数、最小平方误差MSE、簇中心点变化率

算法描述如下：

优化目标

　　k-means的损失函数是平方误差：

其中ωk表示第k个簇，u(ωk)表示第k个簇的中心点，RSSk是第k个簇的损失函数，RSS表示整体的损失函数。优化目标就是选择恰当的记录归属方案，使得整体的损失函数最小。

中心点的选择

　　k-meams算法的能够保证收敛，但不能保证收敛于全局最优点，当初始中心点选取不好时，只能达到局部最优点，整个聚类的效果也会比较差。可以采用以下方法：k-means中心点

　　1、选择彼此距离尽可能远的那些点作为中心点；

　　2、先采用层次进行初步聚类输出k个簇，以簇的中心点的作为k-means的中心点的输入。

　　3、多次随机选择中心点训练k-means，选择效果最好的聚类结果

缺点

1、K值的选择： k 值对最终结果的影响至关重要，而它却必须要预先给定。给定合适的 k 值，需要先验知识，凭空估计很困难，或者可能导致效果很差。

2、异常点的存在：K-means算法在迭代的过程中使用所有点的均值作为新的质点(中心点)，如果簇中存在异常点，将导致均值偏差比较严重。

3、初值敏感：K-means算法是初值敏感的，选择不同的初始值可能导致不同的簇划分规则。为了避免这种敏感性导致的最终结果异常性，可以采用初始化多套初始节点构造不同的分类规则，然后选择最优的构造规则。针对这点后面因此衍生了：二分K-Means算法、K-Means++算法、K-Means||算法、Canopy算法等。