深度学习整理：semantic segmentation 近几年发展历史（2）- 分割预处理

2.1 迁移学习 Transfer Learning 

有句话我觉得不错：

Training a deep neural network from scratch is often not feasible because of various reasons: a dataset of sufficient size is required (and not usually available) and reaching convergence can take too long for the experiments to be worth.

从零开始训练一个深度神经网络通常是不可行的，原因有很多:需要一个足够大的数据集(通常是不可用的)，达到收敛需要很长时间，实验才有价值。

已经有人证明了，transfer learning 比随机初始化效果要好。

transfer learning 要注意的点：

2.1.1 结构约束

要使用预训练的网络，必须满足一些架构限制。目前大家通常不会提出一个全新的体系结构，因此重用已经存在的网络体系结构(或组件)从而支持迁移学习是很常见的。

2.1.2 训练方式不同

当进行微调而不是从零开始进行培训时，培训过程略有不同。

通常来说，前面几层都是底层特征，应该保留，higher-level应训练自己的，那么多少层之后算higher - level那？不知道，得试一下。

另外，学习率需要调整，通常来说，要小一点，这个应该很好理解。

 

2.2 数据预处理

deep learning 严重依靠样本，样本越多当然越好了啊。不光作为正则可以加速收敛，也可以增加网络泛化性能，避免过拟合。

最常见的就是 data augmentation： translation, rotation, warping, scaling, color space shifts, crops, etc。

一般都有api，直接调用，比如我用过keras。