深度学习11— 为什么需要迁移学习？+迁移学习简介

为什么需要迁移学习？

√ 使用深度学习技术解决问题的过程中，最常见的障碍在于，因为模型有大量的参数需要训练，因此需要海量训练数据作支撑。
√ 在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据。
√ 借助迁移学习，在一个模型训练任务中针对某种类型数据获得的关系也可以轻松地应用于同一领域的不同问题。
迁移学习的应用是近低于有监督学习。

迁移学习

迁移学习就是把一个场景学习到的模型应用到另一个场景
• 例如：由原始的imagenet图像训练一个模型(其实大家可以去下载GoogLeNet/ResNet等)，在自己数据集上调优
• 可能的问题: 在小量调优数据上可能过拟合。

保守训练/Conservative Training

迁移学习调优的时候保证调整后的参数与原来的参数很接近，如果参数变化很大，可能会导致过拟合。在损失函数上加上正则项约束，用调整后的w-原来的w

层迁移/Layer Transfer

由于数据量不够，可以仅仅训练部分层，其余层保持不变。

比如
对于图像问题，通常是拷贝开始的一些层，训练后面的一些层
对于语音问题: 通常是拷贝最后一些层，训练前面的一些层（把不同的人的音色、发声方式等提取出来）