机器学习（西瓜书）注解：第9章 聚类

机器学习（西瓜书）注解：第9章 聚类

        本次更新第9章，聚类。针对该章注解有任何问题欢迎在此留言~

        本章介绍无监督学习中最典型的任务：聚类。正如书中第217页阅读材料说到：聚类也许是机器学习中“新算法”出现最多、最快的领域。因此本章勉强采用了“列举式”的叙述方式，相较于其它各章给出了更多的算法描述。

        除了本章介绍的k均值算法、学习向量量化、高斯混合聚类，以及DBSCAN和AGNES之外，个人感觉阅读材料中提到的k-modes与谱聚类也应该了解一下。

        k-modes针对离散属性的样本聚类，实际上就是替换了k均值算法的距离计算方式。k均值算法一般使用欧氏距离，但该距离仅针对连续属性；而当属性为离散值时，如第76页表4.1西瓜数据集2.0（去除最后一列“好瓜”），假设要计算编号1和编号2之间的距离，式(9.21)给出的VDM当然是一种备选，但k-modes使用了更简单的办法：若属性值相同，则距离为0，若属性不同，则距离为1，因此编号1和编号2之间的距离为2，因为它们只有在色泽和敲声两个属性上面取值不同。

        谱聚类是一种基于图论的聚类方法。简单来说将每个样本看作无向图的顶点，各顶点之间的某种关联性度量作为无向图的边，常用的度量方式是第301页的式(13.11)，聚类任务要将无向图分割成若干个簇，即无向图的部分边要被去除，谱聚类试图使去除的边的权重之和最小，而这实际上类似于图分割(Graph Partition)。有关谱聚类的详细介绍可参见参考文献[von Luxburg, 2007]或参见博客园两篇博客：https://www.cnblogs.com/pinard/p/6221564.html和https://www.cnblogs.com/Leo_wl/p/3156049.html。

        George Karypis (http://glaros.dtc.umn.edu/)是图分割的知名学者，其开发的软件包METIS被广泛使用（在西瓜书作者所著的集成学习英文专著《Ensemble Methods: Foundations and Algorithms》的第7.4节，讲述基于图方法的聚类集成算法，其中就提到了METIS工具包中的hMETIS）；但METIS并不容易琢磨明白，个人还发现一个非常简单易懂的MATLAB图分割程序grPartition (https://www.ece.ucsb.edu/~hespanha/software/grPartition.html)，从其分割结果可以看出，图分割本身也是一种聚类。

（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w） 

 

第 9 章目录
第 9 章 聚类.....................................................................................................................................1
        9.1 聚类任务............................................................................................................................1
        9.2 性能度量............................................................................................................................1
                1、式(9.7)的解释.............................................................................................................1
                2、式(9.8)的解释.............................................................................................................1
                3、式(9.12)的解释...........................................................................................................1
        9.3 距离计算............................................................................................................................1
                1、欧氏距离和曼哈顿距离...............................................................................................2
                2、式(9.21)的解释...........................................................................................................2
        9.4 原型聚类............................................................................................................................2
                1、式(9.28)的解释...........................................................................................................3
                2、式(9.29)的解释...........................................................................................................3
                3、式(9.30)的解释...........................................................................................................3
                4、式(9.31)的解释...........................................................................................................4
                5、式(9.32)的解释...........................................................................................................4
                6、式(9.33)的推导...........................................................................................................4
                7、式(9.34)的推导...........................................................................................................6
                8、式(9.35)的推导...........................................................................................................6
                9、式(9.36)的解释...........................................................................................................8
                10、式(9.37)的推导 ........................................................................................................8
                11、式(9.38)的推导 ........................................................................................................8
                12、图 9.6 的解释...........................................................................................................9
        9.5 密度聚类............................................................................................................................9
                1、密度直达、密度可达、密度相连...............................................................................10
                2、图 9.9 的解释............................................................................................................10
        9.6 层次聚类...........................................................................................................................11
        9.7 本章小节...........................................................................................................................11