论文阅读《Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Fe...

没想到 上次的论文阅读更新是八月份 哈哈哈哈
说好这个月要好好更新的 那就把之前没有更新出来的论文阅读补充一下
还是小样本跨域系列哈~
（由于之前阅读的时间有点久 这边可能会放一些PPT）

---

论文名称：《Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification》
论文地址：https://arxiv.org/abs/2005.08463v1

Background

1.Cross-domain few-shot learning (CD-FSL) is one of such transfer learning settings.
2.Meta-learning is a widely used strategy for few-shot learning.
3.However, recent researches indicate that traditional pre-training and fine-tuning can outperform meta learning based few-shot learning algorithms when there exists a large domain gap between source base classes and target novel classes.
Nevertheless, the capacity of fine-tuning can still be limited when facing the large domain gap
小样本跨域学习和迁移学习相似，元学习是现在广泛使用的一种小样本学习策略。
然而，最近的研究表明，当基类和目标新类之间存在很大的领域差距时，传统的预训练和微调可以优于基于元学习的小样本学习算法。但，当面对较大的域差距时，微调的能力仍然可以受到限制。
因此，小样本跨域学习依旧重要且值得研究。

Method

work:
1.propose a batch spectral regularization (BSR) mechanism to suppress all the singular values of the feature matrix in pre-training so that the pretrained model can avoid overfitting to the source domain and generalize well to the target domain
2.propose a feature transformation ensemble model that builds multiple predictors in projected diverse feature spaces to facilitate cross-domain adaptation and increase prediction robustness
3.apply a label propagation (LP) step similar to after fine-tuning, which exploits the feature information of unlabeled test data to refine the original classification results
1.提出了一种批处理谱正则化(BSR)机制来抑制预训练中特征矩阵的所有奇异值，这样预训练模型能够避免与源域过拟合，并很好地推广到目标域。
2.提出了一个特征转换集成模型，在投影的不同特征空间中构建多个预测器，以促进跨域适应和提高预测鲁棒性。
3.为了减轻目标域中标记数据的短缺，在微调后进一步应用了标签传播(LP)步骤，利用未标记测试数据的特征信息来细化原始分类结果。

Model

模型整体为一个特征转换的集成模型，作者通过增加特征表示空间的多样性来建立集成模型，同时保留使用每个预测分支网络的训练数据。
模型首先使用卷积神经网络从输入数据获取高级视觉特征，然后使用不同的随机正交投影矩阵将特征转换为多个不同的特征表示空间。

（Lce表示交叉熵损失函数。在源域进行预训练后，可以同样进行目标域标记支持集的微调，同时利用分类器的平均预测结果，生成查询实例的测试）具体可以参照原论文！

本文提出了一种批处理谱正则化(BSR)机制来抑制预训练中批处理特征矩阵的所有奇异范数，即谱范数，旨在避免对源域的过拟合，提高对目标域的泛化能力。这种正则化方法以相同的方式分别应用于集成模型的每个分支网络。
对于一个矩阵A，其谱范数定义为对应的就是矩阵A的最大奇异值。
谱范数正则化可以防止神经网络中使用的权矩阵具有较大的谱范数，通过这种方法，可以确保训练后的模型对测试数据的扰动表现出轻微的敏感性。
（相关知识可以参考：https://zhuanlan.zhihu.com/p/64531689）

最后讲一下标签传播算法（LP）
首先基于一个原则，相似的数据应该具有相同的标签，该算法基于图，因此先构造一个图，相应的每一个数据点对应图中的一个节点，节点之间表示相似度。
算法简单来说可分为两个步骤：1.构造相似矩阵 2.传播

具体可参考（https://blog.csdn.net/zouxy09/article/details/49105265）

Experiments

---

END
十一月终于要结束了！！！