weka数据挖掘分析

基于Weka 数据聚类分析银行用户的购买力
 通过分析对银行储户信息的分析，进行cluster分类，最终找到合适的消费

人群。

1. 实验基本原理及目的
   聚类分析中的“类”（cluster）和前面分类的“类”（class）是不同的，对 cluster 更加准确的翻译应该是“簇”。聚类的任务是把所有的实例分配到若干的簇，使得同一个簇的实例聚集在一个簇中心的周围，它们之间距离的比较近；而不同簇实例之间的距离比较远。对于由数值型属性刻画的实例来说，这个距离通常指欧氏距离。

在本实验中，我们对前面的“bank-data”作聚类分析，使用最常见的 K 均值（K-means）算法。下面我们简单描述一下 K 均值聚类的步骤。
K 均值算法首先随机的指定 K 个簇中心。然后：

（1）将每个实例分配到距它最近的簇中心，得到 K 个簇；（2）计分别计算各簇中所有实例的均值，把它们作为各簇新的簇中心。

重复（1）和（2），直到 K 个簇中心的位置都固定，簇的分配也固定。

本次实验的目的，是通过利用 Weka 中提供的 simpleKmeans 方法对“bank-data”进行聚类分析，更深刻的理解 k 均值算法，并通过对实验结果进行观察分析，找出实验中所存在的问题。

1. 数据的准备及预处理

原始数据“bank-data.xls”是 excel 文件格式的数据，需要转换成 Weka 支持的 ARFF 文

件格式的。转换方法：在 excel 中打开“bank-data.xls”，选择菜单文件—>另存为，在弹出的对话框中，文件名输入“bank-data”，保存类型选择“CSV（逗号分隔）”，保存，我们便可得到“bank-data.csv”文件；然后，打开 Weka 的 Exporler，点击 Open file 按钮，打开刚才得到的 “ bank-data.csv ” 文件，点击 “ save ” 按钮，在弹出的对话框中，文件名输入

“bank-data.arff”，文件类型选择 “Arff data files （*.arff）”，这样得到的数据文件为 “ bank-data.arff”。
K 均值算法只能处理数值型的属性，遇到分类型的属性时要把它变为若干个取值 0 和 1 的属性。WEKA 将自动实施这个分类型到数值型的变换，而且 WEKA 会自动对数值型的数据作标准化。因此，对于 ARFF 格式的原始数据“bank-data.arff”，我们所做的预处理只是删去属性 “id”，修改属性 “ children”为分类型。 修改过程如下：在 Ultredit 中打开

“bank-data.arff”，将@attribute children numeric 改成如下：

1

图 1 修改 children 为分类型

这样我们最终得到的数据文件为“bank-data.arff”，含 600 条实例。

1. 实验过程及结果截图

用“Explorer”打开刚才得到的“bank-data.arff”，并切换到“Cluster”。点“Choose”按

钮选择“SimpleKMeans”，这是 WEKA 中实现 K 均值的算法。点击旁边的文本框，修改

“numClusters”为 6，说明我们希望把这 600 条实例聚成 6 类，即 K=6。下面的“seed”参

数是要设置一个随机种子，依此产生一个随机数，用来得到 K 均值算法中第一次给出的 K 个簇中心的位置。我们不妨暂时让它就为 10。

选中“Cluster Mode”的“Use training set”，点击“Start”按钮，观察右边“Clusterer output”

给出的聚类结果如下：

2

也可以在左下角“Result list”中这次产生的结果上点右键，“View in separate window”

在新窗口中浏览结果。

1. 实验结果分析

4.1实验结果

下面对实验结果进行解释。观察图 1，首先我们注意到结果中有这么一行：
Within cluster sum of squared errors: 1604.7416693522332

这是评价聚类好坏的标准，数值越小说明同一簇实例之间的距离越小。也许你得到的数值会不一样；实际上如果把“seed”参数改一下，得到的这个数值就可能会不一样。我们应该多尝试几个“seed”，并采纳这个数值最小的那个结果。例如我让“seed”取 100，就得到：

Within cluster sum of squared errors: 1555.6241507629218

我们该取前面这个。当然再尝试几个“seed”，这个数值可能会更小。
3
接下来“Cluster centroids:”之后列出了各个簇中心的位置。对于数值型的属性，簇中心就是它的均值（Mean），如 cluster0 的数值型变量 age 的均值 37.1299；分类型的就是它的众数（Mode），如 cluster0 的分类型变量 children 的众数为 3，也就是说这个属性上取值为众数值3（有 3 个孩子）的实例最多。对于数值型的属性，还给出了它在各个簇里的标准差（Std Devs）。最后的“Clustered Instances”是各个簇中实例的数目及百分比。

为了观察可视化的聚类结果，我们在左下方“Result list”列出的结果上右击，点“Visualize cluster assignments”。弹出的窗口给出了各实例的散点图。最上方的两个框是选择横坐标和纵坐标，第二行的”color”是散点图着色的依据，默认是根据不同的簇“Cluster”给实例标上不同的颜色。

图 3 x轴为income y轴为age
实验结果可视化

可以在这里点 “Save”把聚类结果保存成 ARFF 文件。在这个新的 ARFF 文件中，“instance_number”属性表示某实例的编号，“Cluster”属性表示聚类算法给出的该实例所在的簇，如下图 4。

4

                    图 4 结果的 arff 文件

4.2 存在的问题

在本次实验中，我用了不同的“seed”值对数据进行了三阶段的实验分析：第一阶段不断增大 seed 值，直到为实例数目 600；通过观察第一阶段的实验结果，找到两个最小值点，在第二阶段和第三阶段中，在最小值点 seed 附近不断改变 seed 值，以逼近可能最小的“Within cluster sum of squared errors”值。我把部分实验结果整理如下表：

表 1 实验结果分析

通过上述分析结果，我们可以发现age和region与income影响较为直接

Chirlden 等等属性与income影响并无明显影响。

    我们知道，“Within cluster sum of squared errors”值越小说明同一簇实例之间的距离越小，聚类的结果也就越好。从表中我们可以看出“Within cluster sum of squared errors”的最小值有两个，即 seed取200 时的 1551.72650865326，seed取400 时的 1535.19232923634，这也是本次实验中最好的一个方案结果。我所遇到的问题是，如何迅速的找到是 “Within Cluster sum of squared errors” 的最小值的聚类方案？如何以最快的方法取获得最好的聚类方案，这个问题是不是可以在weka升级实现？