李宏毅《Machine Learning》笔记 -- transfer learning

 

应用场景

Data not directly related to the task considered

Conservative Training or layer Transfer

保守训练，或者fine-tune的时候 只调某个layer的参数

 

speech 通常只调前几层 一般一个

image通常只调最后几层

 

multitask learning

 

Progressive Neural Networks:

domain-adversarial training：可以抽出同样feature分布

红色任务是分辨特征来源是source还是target

绿色要尽量让红色没法分辨特征来源是source还是target

蓝色则保证原有任务正常完成

最后就会尽量生成一个 不同data来源的特征分布接近的特征。。

Zero-shot learning

1、比目前分类单位更小的分类单位：如语音->音素， 动物->特征（尾巴，毛发），目标变为特征预测

2、Attribute embedding 

无需训练