【数学建模常用模型】无监督学习篇

        前几次的回归和分类等模型都是属于有监督的学习方法，这次来聊聊无监督学习。它的定义是：“无监督学习是机器学习的一种方法，指的是没有给定事先标记过的训练示例，自动对输入的资料进行分类或分群。”今天我们主要介绍聚类分析和关系规则这两种常用方法，除此之外应用较为广泛的还有纬度缩减（如主成分分析、因子分析等降维方法，使用spss、matlab软件均可较为方便地实现，这里就不再赘述）。

 

一、聚类分析

聚类是一个将数据集中在某些方面相似的数据成员进行分类组织的过程，是一种发现这种内在结构的技术。

在聚类方法当中，k均值聚类（K-means）是最著名的划分聚类算法，由于简洁和效率使得其成为所有聚类算法中使用最广泛的。具体算法如下：

step1：先随机选取K个对象作为初始的聚类中心。

step2：计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。

step3：一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是以下任何一个：

1)没有（或最小数目）对象被重新分配给不同的聚类。

2)没有（或最小数目）聚类中心再发生变化。

3)误差平方和局部最小。

算法示意图如下所示：

 

二、关联规则

关联规则，具体定义有许多，通俗的解释就是有关联的规则,比如在沃尔玛啤酒-尿布的故事中，奶爸买啤酒的同时也买尿布,{啤酒}-->{尿布}(X->Y)就是一条关联规则。而关联规则算法就是要找到事物间的关系，了解这种关系之后采取相应对策，如沃尔玛超市得到啤酒与尿布间的关系后把两者柜台摆放在一起，使得两种销量大幅提升。

在所有的关联规则算法中，Apriori算法是第一个关联规则挖掘算法，也是最经典的算法。它利用逐层搜索的迭代方法找出数据中项集的关系，以形成规则，其过程由连接（类矩阵运算）与剪枝（去掉那些没必要的中间结果）组成。具体算法描述较为复杂（好吧其实是打字打公式比较麻烦）日后再更新。

这里同样给出算法示意图。

 

 

 

三、维度缩减

维度缩减俗称降维，它的目的是在研究多变量数据时，在保留绝大部分信息时尽可能减少变量个数，减轻工作负担。

多变量的大数据集的确会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量，况且许多变量之间可能存在相关性，增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立的，不能完全利用数据中的信息，因此盲目减少指标会损失很多有用的信息，从而产生错误的结论。

主成分分析、因子分析就是解决问题的方法。在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量之间存在一定的相关关系，因此可以考虑将关系紧密的变量变成尽可能少的新变量，使这些新变量是两两不相关的，那么就可以用较少的综合指标分别代表存在于各个变量中的各类信息。