迁移学习（Transfer learning）

迁移学习（Transfer learning）

---

1 Introduction

• Example：Dog/Cat Classifier
• 现实生活中一直存在迁移学习

---

2 Classification

• label & label： {(xs,ys),(xt,yt)}

  • Fine tuning：复制前面几层layer的实验效果，复制越多越差
  • multitask learning：共用前面几层layer；共用中间的layer；
    
    • 不同语种之间的迁移
    • Progressive NN：迁移其他任务训练得到的神经网络

• label & unlabel： {(xs,ys),(xt)}

  • Domian-adversarial training：
    
    • feature exteactor → Domian classifier → domain label 骗过
    • feature exteactor → label predictor 保证
    • 《Unsupervised Domain Adaptation by Backpropagation》——ICML2015
    • 《Domain-Adversarial Training of Neural Networks》——JMLR2016
      
  • Zero-shot learning：不同的任务，例如source data是猫和狗，test data是草泥马
    
    • 只预测得到接近的类，接近的特征
    • attribute embedding：利用神经网络等模型映射到映射空间中，越接近的点越像
    • f∗,g∗=argminf,g∑nmax(0,k−f(xn)g(yn)+maxm≠nf(xn)g(ym)) ，k由自己定义

• unlabel & label：self-taught learning

• unlabel & unlabel：self-taught clustering

---