2020-3-25 深度学习笔记15 - 表示学习 2（迁移学习和领域自适应）

第十五章 表示学习

官网
英文

2020-3-24 深度学习笔记15 - 表示学习 1（贪心逐层无监督预训练-目前已经不太使用）

迁移学习和领域自适应Transfer Learning and Domain Adaptation

迁移学习和领域自适应指的是利用一个情景（例如，分布$P_1$）中已经学到的内容去改善另一个情景（比如分布$P_2$）中的泛化情况。 这点概括了上一节提出的想法，即在无监督学习任务和监督学习任务之间转移表示。

《机器学习》中的内容总是让人有点似懂非懂，时不时需要自己补充一下。

以下内容转自https://www.zhihu.com/question/41979241

迁移学习(Transfer learning) ，就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间的相似性，也就是举一反三的意思。

具体地，在迁移学习中，我们已有的知识叫做源域(source domain)，要学习的新知识叫目标域(target domain)。迁移学习研究如何把源域的知识迁移到目标域上。由于直接对目标域从头开始学习成本太高，我们故而转向运用已有的相关知识来辅助尽快地学习新知识。

举个例子来说明迁移学习原理。

迁移学习让模型可以通过已有的标记数据（source domain data）向未标记数据（target domain data）迁移。从而训练出适用于目标域的模型。观察下图

上图是某行人检测任务数据集当中的4张图片。
假设前两张正对着摄像机的行人作为训练集，后两张背对着的行人图片作为测试集，结果该模型的测试评分会很差，因为训练时没有考虑到摄像机观察角引起的问题，相类似在图像识别领域会有很多因素会降低识别率（例如光照，背景等）。ok，那能否用一些未标记的图片（类似图3，4这样的图），增强行人检测模型，让它不仅可以识别正对着的行人，还可以识别背对着的行人？这就是迁移学习要干的事。

再说一下领域自适应domain adaptation。

领域自适应是迁移学习原先就有的概念，在研究源域和目标域时，基于某一特征，会发现两个域的数据分布差别很大。

假设要选择某一区域的颜色信息作为图像特征，上图红线表示source dataset的颜色信息值分布，蓝线表示target dataset的颜色信息值分布，很明显对于这一特征来讲，两个域的数据本来就是有shift的。而这个shift导致我们evaluate这个模型的时候准确率会大大降低，那么这个区域的颜色信息就不适合选择特征。

既然这个特征不合适，那我们就换特征。领域自适应旨在利用各种的feature transformation手段，学习一个域间不变的特征表达，基于这一特征，我们就可以更好的同时对两个域的数据进行分类了。

最后说一点，迁移学习是机器学习的分支，它的很多方法其实是不需要用神经网络的，而现在之所以迁移学习和神经网络联系如此紧密，主要因为神经网络的发展太快，导致迁移学习的研究都往神经网络靠了。

补充完毕，回到原文。

一般而言，当存在对不同情景或任务有用特征时，并且这些特征对应多个情景出现的潜在因素，迁移学习、多任务学习和领域自适应可以使用表示学习来实现。

有时不同任务之间共享的不是输入的语义，而是输出的语义。 例如，语音识别系统需要在输出层产生有效的句子，但是输入附近的较低层可能需要识别相同音素或子音素发音的非常不同的版本（这取决于说话人）。 在这样的情况下，共享神经网络的上层（输出附近）和进行任务特定的预处理是有意义的。

在领域自适应的相关情况下，在每个情景之间任务（和最优的输入到输出的映射）都是相同的，但是输入分布稍有不同。 例如，考虑情感分析的任务，如判断一条评论是表达积极的还是消极的情绪。 网上的评论有许多类别。 在书、视频和音乐等媒体内容上训练的顾客评论情感预测器，被用于分析诸如电视机或智能电话的消费电子产品的评论时，领域自适应情景可能会出现。
简单的无监督预训练（去噪自编码器）已经能够非常成功地用于领域自适应的情感分析。

一个相关的问题是概念漂移concept drift，我们可以将其视为一种迁移学习，因为数据分布随时间而逐渐变化。 概念漂移和迁移学习都可以被视为多任务学习的特定形式。

概念漂移是在机器学习、时间序列以及模式识别领域的一种现象。在机器学习领域中，这个概念指的就是一个模型要去预测的一个目标变量，概念漂移就是这个目标变量随着时间的推移发生改变。概念漂移在很多领域都具有很重要的意义，例如对金融衍生品价格预测、动态控制等。

迁移学习的两种极端形式是一次学习和零次学习，有时也被称为零数据学习。 只有一个标注样本的迁移任务被称为一次学习；没有标注样本的迁移任务被称为零次学习。

零次学习是迁移学习的一种特殊形式。

考虑一个零次学习情景的例子，学习器已经读取了大量文本，然后要解决对象识别的问题。 如果文本足够好地描述了对象，那么即使没有看到某对象的图像，也能识别出该对象的类别。 例如，已知猫有四条腿和尖尖的耳朵，那么学习器可以在没有见过猫的情况下猜测该图像中是猫。