连续学习之 -- Overcoming catastrophic forgetting in neural networks

本篇博客，主要分析 “Overcoming catastrophic forgetting in neural networks” 一文的主要思想， 来了解连续学习中的参数正则这一类方法。这是来自2016的工作，它将continual learning 的方法用到神经网络中，用于减轻神经网络经常碰到的灾难性遗忘现象，特别是在处理序列类型任务时：模型倾向于学习当前任务，而用最新的模型去预测之前的任务，性能大大降低。

0. Continual learning basics

连续学习旨在模仿人类学习的过程，即人在不断学习新知识的同时，不遗忘之前已经学到的旧知识。虽然，随着数据的爆炸性增长以及计算力的大幅增长，深度神经网络在很多领域取得了巨大的成功，例如计算机视觉，NLP等等。当然，目前的深度学习技术也面临很多问题，如模型泛化性，模型可解释性，灾难性遗忘等问题。这篇博客分析的内容主要涉及灾难性遗忘这一问题：

• 灾难性遗忘：深度神经网络，往往在处理单个任务时，性能良好。但是在处理序列类型任务时，随着任务的增多，模型会倾向于当前任务的学习，而在之前的任务上性能大大下降。

大致上，连续学习方法可以分为如下三类 [2]：

• Replay-based 方法：这类方法在学习新任务的同时，通过使用之前任务的一些典型样本来克服新训练的模型对之前任务的遗忘。当然这会增加模型的额外存储。

• Regularization-based 方法：这类方法又可以分为两子类，data-focused 方法（例如知识蒸馏）和 priori-focused 方法（利用模型参数的分布先验，例如估计参数的重要性，如果某些参数对之前的任务重要，那么在学习新任务的过程中应尽量少改变这类参数，因此这类方法也称为参数正则方法）。当然，这个方法的关键就是如何估计参数的重要性。

• Parameter isolation 方法：这类方法的思想更加直接，即对不同的任务使用不同的网络结构，具体而言，针对不同的任务可以单独设计模型，或者仅仅使用一个模型的部分参数。

本篇博客分析的文章 – “Overcoming catastrophic forgetting in neural networks”， 属于 Regularization-based 这一类中参数正则的方法，它通过计算Fisher信息矩阵，估计参数的重要性，从而在学习新任务的过程中，对之前任务重要的参数尽量少改变。

1. 主要内容

这篇文章[1]的主要贡献：提出了文中所称的 “elastic weight consolidation ” （EWC）算法，利用Fisher信息矩阵，确定对之前任务重要的参数；然后在学习新任务时，通过一参数正则loss的方式，减少对这些重要参数的改变。不失一般性，以连续学习两个任务 $TaskA,TaskB$ 为例，可类似推广到多个任务的情形。为了阐述的方便，首先对下文中的符号做一些简单的说明：

• $\theta$：表示神经网络 $f(\cdot )$ 的参数，包括所有权重 $w$ 和偏置 $b$。
• ${\theta }_A^{\ast }$：表示神经网络 $f(\cdot )$ 训练 Task A 结束得到的最优模型参数。
• ${\theta }_B^{\ast }$： 表示在训练 $TaskA$ 结束之后，接着训练 $TaskB$ 得到的最优模型参数。

EWC 的具体内容如下：

1.0 EWC (elastic weight consolidation)

• Motivation
  $EWC$ 的目的就是，在 $TaskA$ 训练结束之后，计算 ${\theta }_A^{\ast }$ 中的参数关于 $TaskA$ 的重要性。这个重要性指标，根据Fisher信息矩阵得到，然后在训练 $TaskB$ 时，对这些于 $TaskA$ 重要的参数，加强限制（也即正则），如下式所示：$$\mathcal{L}(\theta )={\mathcal{L}}_B(\theta )+\sum _i\frac{\lambda }{2}{F}_i({\theta }_i-{\theta }_{A,i}^{\ast }{)}^2\text{\hspace{1em}(1)}$$
  其中 ${\mathcal{L}}_B(\theta )$ 表示 $TaskB$ 的 loss，$F_i\ge 0$ 是参数 ${\theta }_{A,i}^{\ast }$ 的重要性系数（根据Fisher信息矩阵计算得到，具体见后面的分析），$\lambda$ 则表示平衡两个loss的超参数。
  根据公式（1），易见：如果某个参数${\theta }_{A,i}^{\ast }$ 对 $TaskA$ 重要，也即 $F_i$ 越大， 则在优化 $TaskB$ 时，会限制 ${\theta }_i$ 在 ${\theta }_{A,i}^{\ast }$ 附近，从而减缓新优化的模型对 $TaskA$ 的遗忘，如 Fig.1 所示。
  
• 计算参数重要性
  原文从概率的角度，来推导重要参数的约束形式。神经网络的训练过程，可视作通过训练数据集 $\mathcal{D}$，优化网络参数 $\theta$ 来最大化条件概率 $p(\theta |\mathcal{D})$，而根据 $Bayes$ 准则，有：$$\log p(\theta |\mathcal{D})=\log p(\mathcal{D}|\theta )+\log p(\theta )-\log p(\mathcal{D})\text{\hspace{1em}(2)}$$ 注意到，等式右边第一项 $\log p(\mathcal{D}|\theta )\times (-1)$，即为通常的loss函数 $\mathcal{L}(\theta )$。
  如果进一步把数据 $\mathcal{D}$ 分为两个相互独立的数据子集 ${\mathcal{D}}_A,{\mathcal{D}}_B$， 分别用于 $TaskA,TaskB$。那么由公式（2）可得：$$\log p(\theta |\mathcal{D})=\log p({\mathcal{D}}_B|\theta )+\log p(\theta |{\mathcal{D}}_A)-\log p({\mathcal{D}}_B)\text{\hspace{1em}(3)}$$ 因此关于 $TaskA$ 的信息，都集中在等式右边的第二项 $\log p(\theta |{\mathcal{D}}_A)$ 这个后验分布上。
  一般而言，$\log p(\theta |{\mathcal{D}}_A)$ 没有解析解或者非常复杂，很难直接处理。如果，对它进行一些简单近似，则可以得到某些简单形式。如原文中采用 Laplace 近似（参考[3]），假设 $p(\theta |{\mathcal{D}}_A)$ 服从高斯分布，均值为 ${\theta }_A^{\ast }$，协方差矩$\sum$ 满足：
  $$\sum {}^{-1}=\left[\begin{array}{cccc}{F}_1& 0& \cdots & 0\\ 0& F_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & F_n\end{array}\right]\text{\hspace{1em}(4)}$$
  其中 $n$ 表示参数的数目，而 $\{F_i:i=1,\cdots ,n\}$ 来自参数 ${\theta }_A^{\ast }$ 的 Fisher 信息矩阵的对角线元素，具体而言，就是 $F_i=|\frac{\partial \mathcal{L}(\theta )}{\partial \theta }{|}_{{\theta }_A^{\ast }}{|}^2$。将上面的假设带入（3），经过简单的计算，可得最终的EWC的正则形式，也即上面提到的公式（1）：
  $$\mathcal{L}(\theta )={\mathcal{L}}_B(\theta )+\sum _i\frac{\lambda }{2}{F}_i({\theta }_i-{\theta }_{A,i}^{\ast }{)}^2$$

以上就是EWC中关于参数重要性计算的内容。我们主要分析参数正则方法在连续学习中的应用的原理或者思想，其他的试验内容参见原文[1]的具体试验分析。

Remarks: 1）如果在公式（1）中，直接使用 $L_2$ 正则 Task A的参数 ${\theta }_A^{\ast }$，则相当于各个参数 ${\theta }_{A,i}^{\ast }$ 的重要性是同等的。因此 $L_2$ 正则可以看做是 EWC 的一个特殊情形。2）另外，EWC 需要在每个任务训练结束之后，更新各个参数的重要性。

---

结束语：虽然 EWC 在一定程度上能够减轻模型的遗忘性问题，但是重要参数还是会慢慢偏离之前任务学习到的最优参数，从长远来看还是会出现遗忘的情形，特别是在序列处理的任务数量不断增加时，这也是所谓的model drift 问题。因此关于连续学习，如何有效地用在神经网络中，还有很多的问题需要解决。

---

References

[1] Overcoming catastrophic forgetting in neural networks.
[2] A continual learning survey: Defying forgetting in classification tasks.
[3] A practical Bayesian framework for backpropagation networks.