李宏毅机器学习之Life Long Learning

李宏毅机器学习之Life Long Learning

Life-long Learning需要解决的问题

李宏毅机器学习之Life Long Learning_第1张图片

Knowledge Retention

李宏毅机器学习之Life Long Learning_第2张图片

学习完任务2后任务1的正确率下降了

李宏毅机器学习之Life Long Learning_第3张图片

如果一起学,可以学的很好,为什么分开学,就乱了,Catastrophic Forgetting

李宏毅机器学习之Life Long Learning_第4张图片

EWC 核心思想:在二次训练的时候,之前比较重要的参数尽量不要去改

李宏毅机器学习之Life Long Learning_第5张图片

theta1 在平原上,所以变化对任务1的影响不大,所以对应的b1也比较小, theta2相对曲线比较陡峭,容易对任务1产生影响,所以对应的b2会比较大。

李宏毅机器学习之Life Long Learning_第6张图片

李宏毅机器学习之Life Long Learning_第7张图片

Knowledge Transfer

李宏毅机器学习之Life Long Learning_第8张图片

知识迁移与life-long learning的区别

李宏毅机器学习之Life Long Learning_第9张图片

life-long learning的一般评估方法

李宏毅机器学习之Life Long Learning_第10张图片

GEM 核心思想:学习新任务的时候,考虑以前任务的梯度方向

Model Expansion

李宏毅机器学习之Life Long Learning_第11张图片

李宏毅机器学习之Life Long Learning_第12张图片

学习的顺序也很重要

你可能感兴趣的:(2019李宏毅机器学习)