【某航】k-means聚类t-sne可视化——数据挖掘导论

代码链接：github代码

1.任务要求

分析Clustering_ALS数据集，对疾病类型进行聚类分析。

2.读取数据：

ALS.csv 2223 rows × 101 columns

3.数据分析与可视化

（1）数值型数据分布统计：（data_distribute.png）

对每一列数据绘制直方图(质量分布图)，它是表示数据分布情况的一种主要工具。其中y轴是密度,而不是概率。通过对每一类列数据做数据分布的统计，可以看到数据大致的分布情况，SubjectID 该类特征数值较大，分布与其他数据不一致性，不建议将其添加为特征；另外，每个数据都拥有range，min，max，median等四类，同一类数据分布趋势相似。

（2）相关性分析：（2D_t-SNE_manifold_representation.png，具体数值详见.ipynb）

根据相关性系数作图，可以看到红色即代表正相关相关性较强，蓝色代表负相关相关性较强，可以看到，同一类数据中range，min，max，median等四类相关性较强，在后续分析中，删除range，min，max，仅保留median作为特征。

3.数据预处理：

(1)在每一类删除range，min，max，仅保留median作为特征
(2)删除无关特征’ID’, ‘SubjectID’
(3)查询空缺值（无空缺值）

4.归一化与K-Means聚类

（1）不执行归一化：

设置聚类类别数从1-10，计算每一种情况下的SSE，绘制图片，根据Elbow原则，确定4即为最佳聚类类别数。

（2）Z标准化

Z-score标准化是将数据变成均值为0，标准差为1的分布，此方法比较适合于本身较符合正态分布的数据集。调用sklearn包，执行z标准化，输出结果无明显拐点，此方法不合适。

（3）最大最小归一化

调用sklearn包，执行最大最小归一化，输出结果无明显拐点，此方法不合适。

（4）正则化

正则化可以保留原有数据特征，同时将数据统一缩放，可以有效防止过拟合。常用的就L1和L2正则化，L1是将每一个样本的各向量绝对值之和作为范数，再用每个向量去除了这个范数，就得到这个样本L1正则化后的向量；L2是将每一个样本的向量先平方和再开方作为范数，再相除。调用sklearn包，执行标准化操作，在4位置有明显拐点，后续数据均采用正则化之后的数据。

5.T-SNE聚类结果展示

t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，非常适用于将非线性数据高维数据降维到2维或者3维，进行可视化。

本题通过t-sne将高维数据降成两维，然后，根据k-means分4类的结果对处理后的两维数据进行分类，并标注出中心点，有以下结果。

可以看到，聚类结果明显将数据分为4类，并且聚类中心点都在该类簇的中心位置，可见分类效果较好，然而这种低维的数据分布仍需要通过高维变量来解释。同时，参考论文，ALS是一种非常异构的进行性神经退行性疾病，临床有多方面表现形式。本文选取的特征数量仅为一小部分，很难产生预测精度很高的预测模型。通过机器学习的方法计算出来的分类结果，仍需要进一步融合病人的各种临床特征加以判断并进行合理解释。

代码链接：github代码

如果感觉对你有所帮助，不妨点个赞，关注一波，激励博主持续更新！