ML：教你聚类并构建学习模型处理数据（附数据集）

本文将根据41个描述性分类特征的维度，运用无监督主成分分析(PCA)和层次聚类方法对观测进行分组。将数据聚类可以更好地用简单的多元线性模型描述数据或者识别更适合其他模型的异常组。此方法被编写在python类中，以便将来能实现类似网格搜索的参数优化。

结果与讨论

本项目中，我们将机器学习技术应用于Ames住房数据集，用79个解释变量来预测房屋的销售价格，其中包括41个分类变量（分类型变量），38个连续数值变量（连续型变量）。在最初探索性数据分析(EDA)和特征选择的过程中，为了更好地理解数据，我们仅用两个连续变量来拟合数据，以便通过三维散点图反映数据和模型。通过列举38个连续数值变量的所有双变量排列组合并分别拟合线性回归模型，我们选出了两个对销售价格预测能力最强的变量。在考虑整个训练集时，地上居住面积和整体质量参数是最佳的预测指标，但这只解释了房屋销售价73.9%的方差。通过使用41个分类特征来识别数据集内的组群，我们可以将数据集分解为方差更小的子集，并找到更好地描述每个特定房屋子集的模型。

附Ames housing数据集：

https://www.kaggle.com/c/house-prices-advanced-regression-techniques

一个简单的线性回归模型可以体现地上居住面积和整体质量对住宅销售价格的影响，它解释了74%的房价变动

由于分类变量较多，并且对Ames房屋市场的专业知识有限，我们使用无监督的聚类方法找到变量里的模式并在此基础上分组。首先通过PCA对数据集进行降维，以避免大量分类变量造成的“维度灾难”效应。PCA还有其他的好处，它能把对总体方差没有贡献的变量数量降到最低，并且将维度降低到三维以便我们直观地改进聚类算法的图形表示（并且将维度降低至三维，给了我们一个图形化的分类效果展示，以便做出直观地改进）。下图展示了由PCA将分类变量降到3维的图形:

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

由41个分类变量浓缩后的三维PCA空间数据表示

通过对此图的初步观察，数据大部分的差异体现在新的Y(垂直)维度。在X(宽度)和Z(深度)维度中，差异来源于设定的类别，进而导致数据形成垂直方向的条纹。由于群集的各向异性，我们利用有k-nearest neighbor connector参数的层次聚类算法来定义组，这样就不会将条带分割成多个部分。（我们利用层次聚类算法中的k邻近算法，在不把竖状条纹割开的基础上重新定义各个组。）（在Python的sklearn库中，AgglomerativeClustering方法可以用于聚类。本案例中，基于Ward linkage标准把类的数量设置为6，以及由kneighbors_graph包生成连接数组，其中参数n_neighbors设置为20）。

原文链接