非常值得收藏的 IBM SPSS Modeler 算法简介

IBM SPSS Modeler以图形化的界面、简单的拖拽方式来快速构建数据挖掘分析模型著称，它提供了完整的统计挖掘功能，包括来自于统计学、机器学习、人工智能等方面的分析算法和数据模型，包括如关联、分类、预测等完整的全面挖掘分析功能，下面让我们一起来了解这些算法：

首先，针对刚入门数据挖掘领域的初学者来说，即使你不懂数据挖掘算法，你一样可以使用SPSS Modeler进行建模，这里提供了自动建模器，可以帮助你自动选择最优算法，包括有：

 

“自动分类器”节点：用于创建和对比二元结果（是或否，流失或不流失等）的若干不同模型，使用户可以选择给定分析的最佳处理方法。由于支持多种建模算法，因此可以对用户希望使用的方法、每种方法的特定选项以及对比结果的标准进行选择。节点根据指定的选项生成一组模型并根据用户指定的标准排列最佳候选项的顺序。

自动数值节点：使用多种不同方法估计和对比模型的连续数字范围结果。此节点和自动分类器节点的工作方式相同，因此可以选择要使用和要在单个建模传递中使用多个选项组合进行测试的算法。受支持的算法包括神经网络、C&R树、CHAID、线性回归、广义线性回归以及Support Vector Machine (SVM)。可基于相关度、相对错误或已用变量数对模型进行对比。

自动聚类节点：估算和比较识别具有类似特征记录组的聚类模型。节点工作方式与其他自动建模节点相同，使您在一次建模运行中即可试验多个选项组合。模型可使用基本测量进行比较，以尝试过滤聚类模型的有效性以及对其进行排序，并提供一个基于特定字段的重要性的测量。

时间序列节点：可为时间序列估计指数平滑模型、单变量综合自回归移动平均(ARIMA) 模型和多变量ARIMA（或变换函数）模型并基于时间序列数据生成预测。

 

接下来，是分类算法的介绍，分类是数据挖掘里面最常用的分析方式，它的计算逻辑是自我学习的过程，即有监督的学习，你需要给他一个目标，给他一些影响因素，它会自动找到影响因素与目标之间隐藏的规则。

 

C&R树节点：生成可用于预测或分类未来观测值的决策树。该方法通过在每个步骤最大限度降低不纯洁度，使用递归分区来将训练记录分割为组。如果节点中100% 的观测值都属于目标字段的一个特定类别，则树中的该节点将被认定为“纯洁”。目标和输入字段可以是数字范围或分类（名义、有序或标志）；所有分割均为二元分割（即仅分割为两个子组）。

QUEST节点：可提供用于构建决策树的二元分类法，此方法的设计目的是减少大型C&R 树分析所需的处理时间，同时也减少在分类树方法中发现的趋势以便支持允许有多个分割的输入。输入字段可以是数字范围（连续），但目标字段必须是分类。所有分割都是二元的。

CHAID节点：使用卡方统计量来生成决策树，以确定最佳的分割。CHAID 与C&R树和QUEST 节点不同，它可以生成非二元树，这意味着有些分割将有多于两个的分支。目标和输入字段可以是数字范围（连续）或分类。Exhaustive CHAID 是CHAID 的修正版，它对所有分割进行更彻底的检查，但计算时间比较长。

决策列表节点：可标识子组或段，显示与总体相关的给定二元结果的似然度的高低。例如，您或许在寻找那些最不可能流失的客户或最有可能对某个商业活动作出积极响应的客户。通过定制段和并排预览备选模型来比较结果，您可以将自己的业务知识体现在模型中。决策列表模型由一组规则构成，其中每个规则具备一个条件和一个结果。规则依顺序应用，相匹配的第一个规则将决定结果。

线性模型节点：根据目标与一个或多个预测变量间的线性关系来预测连续目标。

线性回归节点：是一种通过拟合直线或平面以实现汇总数据和预测的普通统计方法，它可使预测值和实际输出值之间的差异最小化。

因子/主成分分析节点：提供了用于降低数据复杂程度的强大数据缩减技术。主成份分析（PCA）可找出输入字段的线性组合，该组合最好地捕获了整个字段集合中的方差，且组合中的各个成分相互正交（相互垂直）。因子分析则尝试识别底层因素，这些因素说明了观测的字段集合内的相关模式。这两种方式的目标都是找到有效概括原始字段集中的信息的一小部分导出字段。

神经网络节点：使用的模型是对人类大脑处理信息的方式简化了的模型。此模型通过模拟大量类似于神经元的抽象形式的互连简单处理单元而运行。神经网络是功能强大的一般函数估计器，只需要最少的统计或数学知识就可以对其进行训练或应用。

C5.0节点：构建决策树或规则集。该模型的工作原理是根据在每个级别提供最大信息收获的字段分割样本。目标字段必须为分类字段。允许进行多次多于两个子组的分割。

“特征选择”节点：会根据某组条件（例如缺失值百分比）筛选可删除的输入字段；对于保留的输入，将相对于指定目标对其重要性进行排序。例如，假如某个给定数据集有上千个潜在输入，那么哪些输入最有可能用于对患者结果进行建模呢？

判别式分析节点：所做的假设比logistic 回归的假设更严格，但在符合这些假设时，判别式分析可以作为logistic 回归分析的有用替代项或补充。

Logistic 回归节点：是一种统计方法，它可根据输入字段的值对记录进行分类。它类似于线性回归，但采用的是类别目标字段而非数字范围。

“广义线性”模型节点：对一般线性模型进行了扩展，这样因变量通过指定的关联函数与因子和协变量线性相关。另外，该模型允许因变量呈非正态分布。它包括统计模型大部分的功能，其中包括线性回归、logistic 回归、用于计数数据的对数线性模型以及区间删失生存模型。

Cox 回归节点：可为时间事件数据构建预测模型。该模型会生成一个生存函数，该函数可预测在给定时间t 内对于所给定的预测变量值相关事件的发生概率。

SVM (Support Vector Machine)节点：使用该节点，可以将数据分为两组，而无需过度拟合。SVM 可以与大量数据集配合使用，如那些含有大量输入字段的数据集。

贝叶斯网络节点：可以利用该节点对真实世界认知的判断力并结合所观察和记录的证据来构建概率模型。该节点重点应用了树扩展简单贝叶斯(TAN) 和马尔可夫毯网络，这些算法主要用于分类问题。

自学响应模型(SLRM) 节点：利用该节点可以构建这样的模型：随着数据集的增长，可以不断对其进行更新或重新估计，而不必每次使用整个数据集重新构建该模型。例如，如果有若干产品，而您希望确定某位客户获得报价后最有可能购买的产品，那么这种模型将十分有用。此模型可用于预测最适合客户的报价，以及该报价被接受的概率。

KNN (k-最近相邻元素)节点：将新的个案关联到预测变量空间中与其最邻近的k 个对象的类别或值（其中k 为整数）。类似个案相互靠近，而不同个案相互远离。

 

聚类算法我们也称为无监督学习，是与分类算法的有监督学习相对而言。一般在数据初探的时候，经常会用到，比如客户细分、市场细分等等。

 

K-Means 节点：将数据集聚类到不同分组（或聚类）。此方法将定义固定的聚类数量，将记录迭代分配给聚类，以及调整聚类中心，直到进一步优化无法再改进模型。k-means 节点作为一种非监督学习机制，它并不试图预测结果，而是揭示隐含在输入字段集中的模式。

Kohonen节点：会生成一种神经网络，此神经网络可用于将数据集聚类到各个差异组。此网络训练完成后，相似的记录应在输出映射中紧密地聚集，有差异的记录则应彼此远离。您可以通过查看模型块中每个单元所捕获观测值的数量来找出规模较大的单元。这将让您对聚类的相应数量有所估计。

TwoStep 节点：使用两步聚类方法。第一步完成简单数据处理，以便将原始输入数据压缩为可管理的子聚类集合。第二步使用层级聚类方法将子聚类一步一步合并为更大的聚类。TwoStep 具有一个优点，就是能够为训练数据自动估计最佳聚类数。它可以高效处理混合的字段类型和大型的数据集。

 

关联分析在零售行业应用最为广泛，最传统的就是购物篮分析，淘宝上的“猜你喜欢”最常用的分析方式。

 

“先验”节点：从数据抽取一组规则，即抽取信息内容最多的规则。“先验”节点提供五种选择规则的方法并使用复杂的索引模式来高效地处理大数据集。对于大问题而言，“先验”通常用于训练时比GRI 处理速度快；它对可保留的规则数量没有任何限制，而且可处理最多带有32 个前提条件的规则。“先验”要求输入和输出字段均为分类型字段，但因为它专为处理此类型数据而进行优化，因而处理速度快得多。

CARMA节点：使用关联规则发现算法来发现数据中的关联规则。例如，您可以使用此节点生成的规则来查找一系列产品或服务（条件），其结果是您要在此假期内进行促销的项目。

序列节点：可发现连续数据或与时间有关的数据中的关联规则。序列是一系列可能会以可预测顺序发生的项目集合。例如，一个购买了剃刀和须后水的顾客可能在下次购物时购买剃须膏。序列节点基于CARMA 关联规则算法，该算法使用有效的两步法来发现序列。

 

异常检测主要是在多维样本空间里面，找出偏离“大众”最大的那些样本点出来，在SPSS Modeler里面，它是先聚类，生成几大类之后，再找出偏离这些类最大的那些样本点。

 

“异常检测”节点：确定不符合“正常”数据格式的异常观测值（离群值）。即使离群值不匹配任何已知格式或用户不清楚自己的查找对象，也可以使用此节点来确定离群值。

 

社交网络分析是当前流行的朋友圈找出“领导者”与“传播者”的分析方法，它的应用可以是“种子营销”，或者叫“病毒营销”。

 

IBM SPSS Modeler Social Network Analysis 通过将关系信息处理为可包括在模型中的附加字段，导出的关键绩效指标衡量个人的社交特征。将这些社交属性与基于个人的衡量结合起来，提供对个人的更好概览，因此可提高您模型的预测精度。

 

在最新版本17.1里面，已经涵盖了11种可以进行分布式计算的算法，这些算法的介绍在之前的文章“SPSS Modeler 17.1新功能介绍”已经介绍过，这里就不再赘述了。

SPSS Modeler 试用版下载地址: http://bigdata.evget.com/product/168.html