SpotTune-自适应迁移学习的微调方法

SpotTune: Transfer Learning through Adaptive Fine-tuning

  • 摘要:
  • 当前的问题:
  • 主要工作:
  • 具体实现:
    • SpotTune Overview:
    • Training with the Gumbel Softmax Policy:
    • Compact Global Policy Variant:
  • 实验结果:

摘要:

迁移学习允许源任务影响目标任务的诱导偏差,在计算机视觉中得到了广泛的应用。利用深度神经网络进行迁移学习的典型方法是使用来自目标任务的数据来微调对源任务进行预训练的模型。

在本文中,我们提出了一种自适应微调方法SpotTune,它为目标数据找到每个实例的最优微调策略。在SpotTune中,给定来自目标任务的图像,策略网络用于路由决定是将图像通过微调层还是预先训练的层。

我们进行了广泛的实验来证明所提方法的有效性。我们的方法在14个标准数据集中的12个上优于传统的微调方法。我们还比较了SpotTune与其他最先进的微调策略,显示出优越的性能。在Visual Decat

你可能感兴趣的:(▶,深度学习-计算机视觉,深度学习,神经网络,pytorch,迁移学习,计算机视觉)