迁移学习综述

论文：A Survey on Deep Transfer Learning
论文地址

迁移学习

迁移学习是深度学习中解决训练数据不足问题的重要工具.它试图通过放宽训练数据和测试数据必须为独立且分布均匀( i.i.d )的假设,将知识从源域迁移到目标域.

主要解决问题:目标域的数据十分稀缺

定义

给定基于数据 Dt 的学习任务 Tt ,我们可以从数据 Ds 中获取对任务 Ts 有用的知识.迁移学习旨在通过发现并转换 Ds 和 Ts 中的隐知识,以提高任务 Tt 的预测函数 fT(.) 的表现.

其中 Ds ≠ Dt 且/或 Ts ≠ Tt.大多数情况下,Ds(源域) 的规模远大于 Dt (目标域)的规模.

迁移学习可以分为四个分支

四个分支

基于实例的迁移学习

概述

这里的实例意思即是数据的意思.基于实例的迁移学习是指在源域中选择部分与目标域相似的实例,使用特定的权重调整策略,然后作为目标域训练集的补充.

其基于假设:“尽管两个域之间存在差异,但源域中的部分实例可以分配适当权重供目标域使用”.

如下图所示,深蓝色的数据是源域中相似的数据,加以权重可以加入目标域.

相关知识

• TrAdaBoost: 过滤掉源域中与目标域相差大的实例,把剩下的数据重新加权后添加至目标域数据进行训练.这个算法之后还有其他改进的,有处理显微图像分类的增强TrAdaBoost.
• TaskTrAdaBoost: 这是一种快速算法，促进对目标域的快速再训练.
• ExpBoost.R2,TrAdaBoost.R2: TrAdaBoost是针对分类问题,而这个是针对回归问题.
• 双权重域自适应Bi-weighting domain adaptation(BIW): 将两个域的特征空间对齐到公共坐标系中,然后为源域的实例分配适当的权重再加以利用.
• 量度迁移学习框架: 学习实例权重和两个不同域的距离,挑选适合的实例,使跨域的知识迁移更有效.

基于映射的迁移学习

概述

基于映射的迁移学习是指将源域和目标域中的数据映射到新的数据空间.而这个新的数据空间里面,不同域的数据都相似,源域数据具有可迁移特征,且适用于联合深度神经网络.

其基于假设:“尽管两个原始域之间存在差异,但它们在精心设计的新数据空间中可能更为相似”

如下图所示

相关知识

• 迁移成分分析Transfer component analysis (TCA): 引入适应层和额外的域混淆损失用以比较深度神经网络中的分布,以学习具有语义意义和域不变性的特征.定义了有MMD距离,以及重新定义了损失函数.
• 多核变量MMD距离multiple kernel variant MMD distance (MK-MMD): 代替MMD距离
• 联合最大均值差异joint maximum mean discrepancy (JMMD): 衡量联合分布的关系
• Wasserstein distance: 域的新距离度量,便于找到更好的映射

基于网络的迁移学习

概述

基于网络的深度迁移学习是指复用在源域中预训练好的部分网络,包括其网络结构和参数,然后将其一部分进行微调后迁移到目标域中使用.

其基于假设:“神经网络类似于人类大脑的处理机制,网络的前面层可被视为特征提取器,提取的特征是通用的”

如下图所示

相关知识

​ 这部分大部分论文研究都是基于实验进行的.而且这部份的内容有描述网络结构和可迁移之间的关系.基于实验地阐述模块迁移的准确性和可迁移性的结果.

• 网络可以分为两部分,前者是与语境无关的特征变换,后者是相关的分类器.所以语境独立的特征变换可以在多种语境之间迁移.有实验使用CNN在ImageNet数据集上训练的前几层可以有效地提取其他数据集的中间图像特征.

• 多尺度卷积稀疏编码方法: 以一种联合方式自动学习不同尺度的滤波器组,强制规定学习模式的明确尺度,用于学习可迁移的基础知识,并将其微调到目标任务.

• 还有其他改进,比如说将知识从现实世界的物体识别任务迁移到 glitch 分类器;联合学习源域中标记数据和目标域中未标记数据的自适应分类器和可迁移特征.

基于对抗的迁移学习

概述

基于对抗的深度迁移学习是指引入受生成对抗网络(GAN)启发的对抗技术,以找到适用于源域和目标域的可迁移特征.GAN网络原理是整个网络有两部分,一部分是生成,一部分是分类.输入数据学习后,生成部分生成与输入数据相似的数据,把其与源数据一起放入分类器后鉴别输入的数据是来自生成部分还是源数据,然后反向传播到生成器,再次迭代.而鉴别错误的这一部分数据有很高的相似性,也就是基于对抗的迁移学习可以利用的一点.

如下图所示,在源域大规模数据集训练过程中,网络前面层可视为特征提取器,然后将两个不同域提取特征并将其输入到对抗层.对抗层试图去区分特征来源,如果对抗网络表现差,即两个类型特征相似,可迁移性好.

相关知识

• 对抗技术和训练方法:GAN网络;改进损失函数,在损失函数中加入域自适应正则化项;增加几个标准层和一个简单的梯度翻转层,使其适用于大多数前馈神经网络

• 随机多线性对抗网络:利用多个特征层和基于随机多线性对抗的分类器层来实现深度和判别对抗适应网络

• 利用域对抗性损失,使用基于度量学习的方法将嵌入泛化到新任务,便于在学习中找到更易处理的特征.

• 为稀疏标记的目标域数据提供迁移跨域的知识,使用特殊的联合损失函数.定义如下公式

  LD = Lc +λLadver,其中 Lc 是分类损失,Ladver 是域对抗损失

参考

https://zhuanlan.zhihu.com/p/44654536