Online Transfer Learning 在线迁移学习

论文地址：https://icml.cc/Conferences/2010/papers/219.pdf

简介

现存的很多迁移学习算法都是一种离线学习(Offline learning)算法，即源域数据和目标域数据都是已经存在固定了的，然而在现实当中，经常会遇到在线数据的情况，即数据并不是固定存在的，而是一个或多个产生“流进”目标域中，比如工业上数控机床产生的数据是根据时间一条一条产生的，那么在这种情况下很大程度上要求在线学习，这样才能够提供更好的实时性效果。

Online Transfer Learning（OTL）的应用场景：源域是已存在的现有带标签数据集，目标域则是一个样本序列，分类器首先收的是目标域数据$x_{2}t$，然后可以得到该数据的标签$y_{2}t$。在线学习的目标则是寻找一个表现好的预测函数，使得类别预测$sign(f_t(x_{2}t))$与真实标签$y_{2}t$尽可能的匹配。而在线迁移学习的挑战则是如何有效地从源域中迁移知识到目标域中以提高在线学习能力，并且如何在同构（特征空间相同）和异构（特征空间不同）的情况下仍然表现好。Online Transfer Learning（OTL）也将从同构的情景和异构的情景分别分析。

同构域下的OTL

在同构的情景下，假设源域和目标域的特征空间相同(${\mathcal{X}}_1={\mathcal{X}}_2$)，并且标签空间也相同(${\mathcal{Y}}_1={\mathcal{Y}}_2$)，这也是大部分迁移学习的应用场景，而在这样的条件下最大的问题就是解决“概念漂移”问题。那么如何得到在线学习的类别预测$sign(f_t(x))$呢？

与很多现有的迁移学习方法不同，在OTL中，作者分别构造了两个预测函数$h$和$f$，其分别只在源域和目标域上进行，其中在源域上的h分类器为:

$$h(x)=\sum _{s=1}^S{\alpha }_S{y}_{1_S}{\mathcal{K}}_1(x_{}$$