数学建模之聚类模型

聚类模型

基本概念：“物以类聚，人以群分”，所谓的聚类，就是将样本划分为由类似的对象组成的多个类的过程。聚类后，我们可以更加准确的在每个类中单独使用统计模型进行估计、分析或预测；也可以探究不同类之间的相关性和主要差异。
聚类和分类的区别：分类是已知类别的，聚类未知。

K-means聚类算法：
流程：
一、指定需要划分的簇[cù]的个数K值（类的个数）;
二、随机地选择K个数据对象作为初始的聚类中心（不一定要是我们的样本点）;
三、计算其余的各个数据对象到这K个初始聚类中心的距离，把数据对象划归到距离它最近的那个 中心所处在的簇类中;
四、调整新类并且重新计算出新类的中心;
五、循环步骤三和四，看中心是否收敛（不变），如果收敛或达到迭代次数则停止循环;
六、结束。

流程图：

优点：
（1）算法简单、快速。
（2）对处理大数据集，该算法是相对高效率的。
缺点：
（1）要求用户必须事先给出要生成的簇的数目K。
（2）对初值敏感。
（3）对于孤立点数据敏感。
K‐means++算法可解决2和3这两个缺点。

K-means++算法：（只对K-means算法“初始化K个聚类中心” 这一步进行了优化）
k-means++算法选择初始聚类中心的基本原则是：初始的聚类中心之间的相互距离要尽可能的远。
算法描述：
步骤一：随机选取一个样本作为第一个聚类中心；
步骤二：计算每个样本与当前已有聚类中心的最短距离（即与最近一个聚类中心的距离），这个值越大，表示被选取作为聚类中心的概率较大；最后，用轮盘法（依据概率大小来进行抽选）选出下一个聚类中心；
步骤三：重复步骤二，直到选出K个聚类中心。选出初始点后，就继续使用标准的K-means算法了。

spss软件操作：

注：
（1）聚类的个数K值怎么定？
答：分几类主要取决于个人的经验与感觉，通常的做法是多尝试几个K值，看分成几类的结果更好解释，更符合分析目的等。
（2）数据的量纲不一致怎么办？
答：如果数据的量纲不一样，那么算距离时就没有意义。例如：如果X1单位是米，X2单位是吨，用距离公式计算就会出现“米的平方”加上“吨的平方”再开平方，最后算出的东西没有数学意义，这就有问题了。

系统（层次）聚类：
基本概念：系统聚类的合并算法通过计算两类数据点间的距离，对最为接近的两类数据点进行组合，并反复迭代这一过程，直到将所有数据点合成一类，并生成聚类谱系图。
算法流程：
一、将每个对象看作一类，计算两两之间的最小距离；
二、将距离最小的两个类合并成一个新类；
三、重新计算新类与所有类之间的距离；
四、重复二三两步，直到所有类最后合并成一类；
五、结束。
spss软件操作同K-means++算法类似；
聚类谱系图（树状图）：
谱系图是较新的Spss版本添加的功能，横轴表示各类之间的距离（该距离经过了重新标度），聚类的个数可以自己从图中决定。Spss结果中还有一种图，被称为冰柱图，目前已经很少用了。

用图形估计聚类的数量：
肘部法则（Elbow Method）：通过图形大致的估计出最优的聚类数量。

画图前先对数据进行处理，把数据粘贴到Excel表格中，并按照降序排好。
（聚合系数折线图的画法:excel画散点图；）
确定K后保存聚类结果并画图：

示意图:
只有当指标个数为2或者3的时候才能画图；

DBSCAN算法:
具有噪声的基于密度的聚类方法

基本概念：DBSCAN(Density-based spatial clustering of applicationswith noise)是Martin Ester, Hans-PeterKriegel等人于1996年提出的一种基于密度的聚类方法，聚类前不需要预先指定聚类的
个数，生成的簇的个数不定（和数据有关）。该算法利用基于密度的聚类的概念，即要求聚类空间中的一定区域内所包含对象（点或其他空间对象）的数目不小于某一给定阈值。该方法能在具有噪声的空间数据库中发现任意形状的簇，可将密度足够大的相邻区域连接，能有效处理异常数据。

DBSCAN算法将数据点分为三类：
核心点：在半径Eps内含有不少于MinPts数目的点
边界点：在半径Eps内点的数量小于MinPts，但是落在核心
点的邻域内
噪音点：既不是核心点也不是边界点的点
例：

伪代码：
伪代码（Pseudocode）是一种非正式的，类似于英语结构的，用于描述模块结构图的语言。使
用伪代码的目的是使被描述的算法可以容易地以任何一种编程语言（Pascal，C，Java等）实现。因此，伪代码必须结构清晰、代码简单、可读性好，并且类似自然语言。

优点：
1、基于密度定义，能处理任意形状和大小的簇；
2、可在聚类的同时发现异常点；
3、与K-means比较起来，不需要输入要划分的聚类个数。
缺点：
1、 对输入参数ε和Minpts敏感，确定参数困难；
2、 由于DBSCAN算法中，变量ε和Minpts是全局唯一的，当聚类的密度不均匀时，聚类距离相差很大时，聚类质量差；
3、当数据量大时，计算密度单元的计算复杂度大。、

建议：
只有两个指标，且你做出散点图后发现数据表现得很“DBSCAN”，这时候你再用DBSCAN进行聚类。其他情况下，全部使用系统聚类，K‐means也可以用。