K-means(聚类)

from sklearn.cluster import KMeans

聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一簇中

原理：通过不断地取离种子点最近均值的算法，大致步骤如下：

从上图中，我们可以看到，A，B，C，D，E是五个在图中点。而灰色的点是我们的种子点，也就是我们用来找点群的点。有两个种子点，所以K=2

K-Means的算法如下：

      1、 随机在图中取K（这里K=2）个种子点。

      2、 然后对图中的所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（上图中，我们可以看到A，B属于上面的种子点，C，D，E属于下面中部的种子点）

      3、 接下来，我们要移动种子点到属于他的“点群”的中心。（见图上的第三步）

      4、 然后重复第2）和第3）步，直到，种子点没有移动（我们可以看到图中的第四步上面的种子点聚合了A，B，C，下面的种子点聚合了D，E）。

求点群中心的算法：欧氏距离（Euclidean Distance）：差的平方和的平方根

K-Means主要最重大的缺陷：

       1、 K是事先给定的，这个K值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。（ISODATA算法通过类的自动合并和分裂，得到较为合理的类型数目K）

       2、K-Means算法需要用初始随机种子点来搞，这个随机种子点太重要，不同的随机种子点会有得到完全不同的结果。（K-Means++算法可以用来解决这个问题，其可以有效地选择初始点）

K-Means算法步骤：

          1、从数据中选择k个对象作为初始聚类中心;

          2、计算每个聚类对象到聚类中心的距离来划分；

          3、再次计算每个聚类中心

          4、计算标准测度函数，直到达到最大迭代次数，则停止，否则，继续操作。

          5、确定最优的聚类中心