李宏毅深度学习——机器终身学习

一、终身学习在现实世界的应用

• 机器不断在线上收集资料，再更新模型
  终身学习的难点：
  目前出现的终身学习是不同域的任务
  
  在任务1训练好模型直接用任务2更新参数，但是发现学完任务2之后，忘记了任务1；而机器有能力同时学习两个任务。
  解决按顺序学习灾难性遗忘的方法：
  
  但是随着学习的任务变多，数据资料会变多，训练没有效率

二、终身学习v.s.Transfer Learning

Transfer Learning: 虽然也涉及两个任务，但是它关心的是第一个任务上学到的模型在第二个任务上的应用，而不关心它是否仍能解决任务1。
终身学习：涉及两个任务而且仍然关心是否还能解决任务1。

三、终身学习的评估

1、首先需要一系列任务

2、先将随机初始化的参数模型用在所有任务上得出每个任务的正确性；接下来学第一个任务，再在t个任务上计算正确率；学完第二个任务后，同样的操作，直到第t个任务。

四、灾难性遗忘解决方法

1、选择性突触的可塑性

是指某些神经网络是固定的，而某些可以改变

（1）为什么会出现灾难性遗忘

越偏蓝色loss函数越小，越偏白色loss函数会越大

（2）如何解决

所以解决办法的思想是：一些模型中重要的参数改变很小，而不重要的参数可以改变较大

对于这个式子的后一项，不同参数的b是不一样的，对于重要的参数，b值偏大，使新的参数和原始参数比较接近，而对于不重要的参数，b值偏小甚至为0，不在意新的参数与原始参数是否接近。

那么怎么找到b呢？

所以上面那个问题如何解决？

2、额外神经资源分配

（1）progressive neural networks

任务1的参数就不要动它了，直接用于任务2，再增加神经网络来解决任务2，这个适用于任务少的情况下。

(2)packnet

先开一个比较大的network，每个任务只用部分的参数

3、记忆回复

任务顺序不同，得到的正确率不同。