李宏毅机器学习课程-Transfer Learning

深度学习 -> 强化学习 ->迁移学习(杨强教授报告)

李宏毅机器学习课程-Transfer Learning

迁移学习-吴恩达
freeze

李宏毅机器学习课程-Transfer Learning_第1张图片


待处理的

理解深层神经网络中的迁移学习及TensorFlow实现


Transfer Learning模式

李宏毅机器学习课程-Transfer Learning_第2张图片

Similar domain, different tasks

Different domains, same task

Transfer Learning四种情形

李宏毅机器学习课程-Transfer Learning_第3张图片

Transfer Learning-Model Fine-tuning

李宏毅机器学习课程-Transfer Learning_第4张图片

李宏毅机器学习课程-Transfer Learning_第5张图片

Conservative Training

李宏毅机器学习课程-Transfer Learning_第6张图片

Layer Transfer(需要实践)

不同任务共享前几层,往往会有较好的结果。

Speech: usually copy the last few layers
Image: usually copy the first few layers

李宏毅机器学习课程-Transfer Learning_第7张图片

李宏毅机器学习课程-Transfer Learning_第8张图片

Jason Yosinski,Jeff Clune,Yoshua Bengio,HodLipson, “How transferable are features in deep neural networks?”, NIPS, 2014  这篇文章给出Transfer learning 方法有指导意义。(待总结)

李宏毅机器学习课程-Transfer Learning_第9张图片

李宏毅机器学习课程-Transfer Learning_第10张图片

Transfer Learning - Multitask learning(需要实践)

李宏毅机器学习课程-Transfer Learning_第11张图片

李宏毅机器学习课程-Transfer Learning_第12张图片

李宏毅机器学习课程-Transfer Learning_第13张图片

李宏毅机器学习课程-Transfer Learning_第14张图片

李宏毅机器学习课程-Transfer Learning_第15张图片


Transfer Learning-Domain-adversarial training(需要实践)

共享feature

李宏毅机器学习课程-Transfer Learning_第16张图片

李宏毅机器学习课程-Transfer Learning_第17张图片

不同Domain, Feature的分布不一样。

李宏毅机器学习课程-Transfer Learning_第18张图片

去掉Domain的Feature特性去掉。

李宏毅机器学习课程-Transfer Learning_第19张图片

 两个不同任务的大型网络。

李宏毅机器学习课程-Transfer Learning_第20张图片

李宏毅机器学习课程-Transfer Learning_第21张图片

Domain-adversarial trainingYaroslav Ganin,Victor Lempitsky, Unsupervised Domain Adaptation by Backpropagation, ICML, 2015

Hana Ajakan,Pascal Germain,Hugo Larochelle,François Laviolette,Mario Marchand, Domain-Adversarial Training of Neural Networks, JMLR, 2016

实验结果

李宏毅机器学习课程-Transfer Learning_第22张图片


Transfer Learning-Zero-shot learning(需要实践)

不去直接去分类,而是将image映射到新的维度,将Feature映射到新的维度,目标是在新的维度,两者更接近。

李宏毅机器学习课程-Transfer Learning_第23张图片

李宏毅机器学习课程-Transfer Learning_第24张图片

李宏毅机器学习课程-Transfer Learning_第25张图片

李宏毅机器学习课程-Transfer Learning_第26张图片

李宏毅机器学习课程-Transfer Learning_第27张图片

李宏毅机器学习课程-Transfer Learning_第28张图片

目标函数的设置(亮点)

李宏毅机器学习课程-Transfer Learning_第29张图片

参考文献

Transfer Learning

深度学习 -> 强化学习 ->迁移学习(杨强教授报告)

你可能感兴趣的:(机器学习,李宏毅学习机器,Transfer,Learning)