关于 图像聚类算法与深度学习结合的思考。

背景

最近发现了了一个科赛kesci举办的图像聚类的比赛,似乎挺有意思。不过,以前搞得都是图像分类的比赛,模型用过resnext ,swin-transformer , CoatNet 等, 从图像增强到测试集增强都有对应的代码实现。
然而,本次比赛直接就无监督学习了, 只是给定了5个类别:

类别 格式类型 说明
0 数字 卷云
1 数字 如意云
2 数字 壬字/王字云
3 数字 四合如意云
4 数字 几何云雷纹
然后,直接让聚类。。

猜想

能否通过卷积网络提取特征后, 接上聚类算法来输出label,

##疑问
聚类为5类后,如何保证类别和我预期的顺序一样。总不能肉眼观察吧。。

发现

目前似乎找到了一个pytorch的猫狗二聚类demo,大体流程如下:

  1. 训练集为9000张 32x32的三通道图, 使用pytorch训练一个自编码器。
  2. 基于自编码器 对 图片 提取latent(是啥,特征之类的玩意儿吧)
  3. 使用pca对特征降维。
  4. 使用cluster算法进行聚类。
  5. 使用1000张带有label标注的图片调用模型预测, 并对照打分,最后准确率0.6+。。真的低。

训练流程如下:

比赛地址

https://www.heywhale.com/home/competition/629718312b840ccfda56b0ec/content/2

问题:

  1. 进行聚类之前, 数据需要降维处理到何种程度?(数据集维度多少,特征数目多少合适)
  2. 混用AE, Kpca , tsne 和只使用其中一个降维算法 , 对聚类效果的影响。

你可能感兴趣的:(算法,聚类,深度学习)