【台大李宏毅ML课程】Lecture 19 Transfer Learning迁移学习笔记

本节课主要讲了迁移学习的一些基本概念和算法的主要思想~~
图片来源与李宏毅老师ppt
如有错误，请务必指正！！

1.Transfer Learning基本概念

target data：相关的数据，很少
source data：不直接相关的，很多

有很多与target data不直接相关的source data
比如说target data是一些小猫小狗，任务是给小猫小狗分类，
但source data是一些大象和老虎，这属于similar domain，different task；
source data是一些卡通的猫和狗，这属于different domain，similar task。

2.算法概览

按照target data和source data有无label，可分为如下几种算法：
（自己用Xmind画的~~）

3.target和source都有label

3.1 Model Fine-tuning
Idea: training a model by source data, then fine-tune the model by target data
但这样容易过拟合。因此采取Conservative Training的方式，即每次参数更新之后都与上一次参数接近（小心翼翼调参）

或者采用Layer Transfer的方式，即target data只train部分layers，除非足够多~

Which layer can be transferred (copied)?
Speech: usually copy the last few layers
Image: usually copy the first few layers，可能图像在NN前几层提取的特征都长得差不多，在后几层才出现差别，所以复制前几层。

3.2 Multitask Learning
共用一些layer

应用：多语言识别

4.target没有label，source有label

4.1 Domain-Adversial training
将target看成test data，source看成train data~
有点类似于GAN网络，通过训练feature extractor网络从而“骗过”Domain classifier，从而用来消除target与source之间的差别，同时又能让label predictor分辨出label~~（好厉害~~） 可用反向传播来求解~

4.2 Zerp-shot Learning
将target看成test data，source看成train data~
先把每个有label的样本（train data）的多维属性列出来（attribute embedding），然后在这个空间里找与test data最像的类别（test data）

5.target有label，source没有label

Self-training：没细讲

6.target和source都没有label

Self- Clustering：也没细讲，可能是参考一些无监督学习的方式~