李宏毅2020ML——P83 Transfer Learning

introduce

为什么需要transfer learning

在某些特定领域的data是很少的，但是其他领域的data确实很多的。

分情况讨论

ideas

labelled-labelled

Model Fine-tuning

思想：

Conservative Training流程：

Layer Transfer：

不同领域，copy的layer的选择也会不同

效果对比：

实验结果：

Multitask Learning

source和target都考虑进来

在多语言辨别的应用：

实验结果：

unlabelled-labelled

我们的任务：

Domain-adversarial training

架构：

架构修改1：

架构修改2：

缺点：

实验结果：

Zero-shot learning

ML遇到从来没有见过的类别怎么办？

attribute：

去找attribute，再查找属性表

attribute embedding

用word vector

损失函数：

另外一个方法：

翻译中的应用：