Deep Leaning 学习笔记之组织机器学习项目（2.3）—— 迁移学习&多任务学习

1 迁移学习

1.1 概念

深度学习中最有力的方法之一，是有时你可以把在一个任务中神经网络 学习到的东西，应用到另一个任务中去。 比如，你可以让神经网络 学习去识别物体，比如猫，然后用学习到的 （一部分）知识 来帮助你更好地识别X射线的结果。 这就是所谓的迁移学习。

1.2 步骤

比如说X,Y是猫分类器的输入与输出。
将猫分类器迁移为放射结果诊断。
迁移学习，指的是，取出这个神经网络的最后一层，并移除掉这一层以及其相关的权重，然后为最后一层神经网络创建一个新的随机初始化的权重，使用新建的这个输出层来进行放射结果的诊断（新的Y）

1.3 预训练 和 微调

如果要将A功能（猫分类器）迁移为B功能（放射结果诊断）。

1. 要是你对神经网络的所有参数进行重新训练， 那么这样训练的初始化阶段 有时候被我们叫做预训练（pre-training） 原因是，你在是使用图像识别的数据 来预初始化（pre-initialize）或者说预训练神经网络的权重。 然后如果你在之后对所有的权重进行更新， 那么在放射扫描的数据上的训练有时候被我们叫做**微调（fine tuning) **
2. 之所以这样的过程是有用的， 是因为从从大规模的图像识别数据集中 学习到的边界检测，曲线检测，明暗对象检测等 低层次的信息， 或许能够帮助你的学习算法更好地去进行放射扫描结果的诊断。 它会在图像的组织结构和自然特性中学习到很多信息， 其中一些信息会非常的有帮助。
3. 所以当神经网络学会了图像识别 意味着它可能学习到了以下信息： 关于不同图片的 点，线，曲面等等信息， 在不同图片中看起来是什么样子的。 或许关于一个物体对象的很小的细节， 都能够帮助你 在放射信息诊断的神经网络中，学习得更快一些或者减少学习需要的数据。

1.4 适用情况及条件

条件：

• 在输入相同时（同为图片、语音等）
• A任务的数据大于B任务的数据

总结：

• 所以总结一下就是， 你把一个有大量数据的问题模型， 迁移到了一个相对之下仅有很少数据的问题模型中。
• 一个迁移学习不适用的例子是， （上面讲到的）数据规模被颠倒过来的时候。

2 多任务学习

2.1 概念

多任务学习，指的是，在同一个神经网络上，进行多个目标。比如说一共有10W条数据，进行100个目标，每个目标平均有1000条数据作为支撑，因此当我要看任务A100时，那么其他9.9W条数据就会作为A100的支撑前提，由最后的1000条数据（A100自己的）进行最终训练，其他任务也是如此。

2.2 使用场景

一般来说，迁移学习用的比多任务学习更多一些。

• 迁移学习，是在我的A目标，只有一个小的数据集，但是我有一个相关的B目标，有庞大的数据集，这时候可以使用迁移学习。
• 多任务学习，通常用在图像识别，一次识别好多图像。

3 温馨提示

对于这种图像，仍然可以使用。

正如在关于多任务学习的讲座中所看到的，您可以计算成本，使其不受未标记某些条目的事实的影响。