迁移学习 & 凯明初始化

前言

这一章其实就是之前没做完的事,来补一下,两者其实没啥关系

迁移学习

以下内容学习自迁移学习【斯坦福21秋季:实用机器学习中文版】

迁移学习包括什么?

①feature extraction
②train a model on a relate task and reuse it
③fine-tuning from a pertrained model

fine-tuning

(1) 为什么使用pretained model?

有利于加速收敛,有可能会提高精度

迁移学习 & 凯明初始化_第1张图片
用了课上的一个图,有点抽象但是是这个道理
红色五角星:最优的解(泛化性能好)
蓝色五角星:得到的解(得到的泛化性能不太好的的结果)

(2)如何避免

①限制训练范围
给一个训练半径,即上图绿色圈

②冻结训练
实际上我们真正要训练的是整个模型最后的全连接层,此时就是随机初始化的

凯明初始化

kaiming初始化的推导

你可能感兴趣的:(深度学习,迁移学习,机器学习,人工智能)