[机器学习入门] 李宏毅机器学习笔记-22（Transfer Learning part 2；迁移学习 part 2）

[机器学习入门] 李宏毅机器学习笔记-22（Transfer Learning part 2；迁移学习 part 2）

PDF	VIDEO

---

接part 1

第四象限

Target data unlabelled，Source Data labelled

Zero-shot learning

今天想要辨识草泥马，但是source data中没有一只草泥马！

这里写图片描述

Representing each class by its attributes

这里写图片描述

通过特征表来进行分类，当输入一只草泥马时;

这里写图片描述

Attribute embedding

这里写图片描述

这里写图片描述

x 是一张图片，通过函数（NN）f()，可以投影到embedding space成为一个向量f（x）；
y 是特征表里的一行特征向量，通过函数（NN）g（()，降维到embedding space成为向量g(y);
然后使f(x123)，g(y123)上越接近越好，当我们输入一张不知道的图片比如草泥马，通过比较f(草泥马)与哪个g(y)比较接近，得到它的类别。

但是会有一个问题，当我们并不知道特征表时，怎么解决呢，那么就需要用Attribute embedding + word embedding。我们知道word embedding 中的每一维度，其实就代表了一个特征，所以就不需要一个database来告诉每种动物的特征是啥。

这里写图片描述

回到刚刚在embedding space 上的距离比较，通过这个公式比较可以吗？

这里写图片描述

答案是不可以的，很明显，为了使结果更接近，全部投影到一个点上显然可以，但明显不合适。所以loss function这样定义是不行的。
上述公式只考虑了同一组x，y越接近越好，但没有考虑到，不同组的x，y距离要拉大。 所以要改成：

这里写图片描述

其实还有一个Zero-shot 的方法叫做Convex Combination of Semantic Embedding。
其实就是取NN得出的分类的概率中点，然后word vector 与该中点比较。

这里写图片描述

Example of Zero-shot Learning

比如 本来只有中英、日法翻译，通过transfer，学会了中法翻译。

这里写图片描述

这里写图片描述

第二象限

Target data labelled，Source Data unlabelled

Self-taught learning

这里写图片描述

第三象限

Target data unlabelled，Source Data unlabelled

Self-taught Clustering

这里写图片描述