深度学习论文笔记(增量学习)——Overcoming catastrophic forgetting in neural networks

越来越懒，看的文献越来越多，做的总结越来越少，大概要写十几篇总结，寒假不知道写得完不…

主要工作

我将看过的增量学习论文建了一个github库，方便各位阅读地址

该文章由deepmind在2016年出品，其将抵抗灾难性遗忘的工作分为三步
1、选择对于旧任务而言，较为重要的权重
2、在第一步的基础上，对权重的重要性做一个排序
3、在学习新任务时，尽量使步骤二的权重不发生太大改变，即在损失函数中添加了一个正则项，重要性大的神经元权重变化大，则释加的惩罚也大

上述算法简称为EWC（elastic weight consolidation）

本文数学公式较多

motivation

在任务A上训练完毕后，得到模型，接着在任务B上训练，此时权重会发生很大改变，导致模型在任务A上的准确率下降，这便是灾难性遗忘（其实灾难性遗忘感觉像是从迁移学习中衍生出来的一个领域）

大脑的某些突触对于习得的知识巩固尤为重要，大脑会降低此类突触的可塑性，从而记忆过去习得的知识，以此为出发点，作者尝试在人工神经网络中识别对旧任务而言较为重要的神经元，并降低其权重在之后的任务训练中的改变程度

值得注意的是，识别出较为重要的神经元后，需要更进一步的给出各个神经元对于旧任务而言的重要性排序

如上图，首先假设task A与task B存在一个公共解，这个解应该是存在的（我们将task A与task B合在一起训练，得到的解便是公共解），如果我们不加限制，就和蓝箭头一样，新训练的模型在task A上的准确率不足，如果我们对每个权重施加L2惩罚，会出现绿箭头的情况，因为所有权重都不能发生太大改变，模型无法充分学习task B，EWC的目标即为红箭头，此类做法和knowledge distillation的本质基本一致，只是做法不同

method

给定数据集$D$，我们的目标是找出一个最有可能出现的解$\theta$，即目标为
$$logP(\theta |D)\text{\hspace{1em}(1.0)}$$

此类目标和我们常用的极大似然估计不一致，其实这么理解也是可行的，对1.0进行变化，则有

$$\begin{array}{rl}logP(\theta |D)& =log\frac{P(\theta D)}{P(D)}\\ & =log\frac{P(D|\theta )P(\theta )}{P(D)}\\ & =logP(D|\theta )+logP(\theta )-logP(D)\end{array}\text{\hspace{1em}(1.1)}$$

假设$D$由task A与task B的数据集$D_A、D_B$组成，则有

$$\begin{array}{rl}logP(\theta |D)=& logP(\theta |D_A{D}_B)\\ =& log\frac{P(\theta D_A{D}_B)}{P(D_A{D}_B)}\\ =& log\frac{P(\theta D_B|D_A)P(D_A)}{P(D_B|D_A)P(D_A)}\\ =& log\frac{P(\theta D_B|D_A)}{P(D_B|D_A)}\\ =& log\frac{P(D_B|\theta D_A)P(\theta |D_A)}{P(D_B|D_A)}\\ =& logP(D_B|\theta )+\log P(\theta |D_A)-logP(D_B)\end{array}\text{\hspace{1em}(1.2)}$$
由于$D_A$与$D_B$相互独立，则有
$$\begin{array}{rl}P(D_B|\theta D_A)& =P(D_B|\theta )\\ P(D_B|D_A)& =P(D_B)\end{array}$$

我也不知道论文给出式1.1的意图，式1.2是全文的核心

$logP(D_B|\theta )$可用task B上的损失函数的负数代替，即$-L_B(\theta )$，对于单标签分类任务而言，交叉熵损失函数的形式即为$logP(D_B|\theta )$

假设我们的模型有n个参数，第$i$个参数记为${\theta }_i$，n个参数相对于$D_A$条件独立，则有
$$\begin{array}{rl}logP(\theta |D_A)& =logP({\theta }_1{\theta }_2...{\theta }_n|D_A)\\ & =logP({\theta }_1|D_A)+logP({\theta }_2|D_A)+...+logP({\theta }_n|D_A)\end{array}$$

$logP({\theta }_i|D_A)$给出了给定数据集$D_A$，哪个参数值出现的概率，如果某个参数值出现的概率大，则可认为该参数对于task A而言较为重要，但是估计$logP({\theta }_i|D_A)$的值是非常困难的，假设task A训练完毕后，对应的参数记为${\theta }_A^{\ast }$，利用拉普拉斯近似，在使用mini batch的前提下，则可将$logP({\theta }_i|D_A)$看成均值为${\theta }_{A,i}^{\ast }$，方差为该参数对应的Fisher information matrix对角线上的倒数（记为$F_i$）的高斯分布，式1.2可记为：

$$logP(\theta |D)=-L_B(\theta )-\frac{1}{2}\sum _{i=1}^n{F}_i({\theta }_i-{\theta }_{A,i}^{\ast }{)}^2\text{\hspace{1em}(1.3)}$$

对于高斯分布而言，有
$$log\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(w-u{)}^2}{2{\delta }^2}}=log\frac{1}{\sqrt{2\pi }}-\frac{(w-u{)}^2}{2{\delta }^2}$$
常数对优化结果没有影响，所以式1.3省去了常数，优化目标为
$$\begin{array}{rl}\underset{\theta }{\max }logP(\theta |D)=& \underset{\theta }{\max }(-L_B(\theta )-\frac{1}{2}\sum _{i=1}^n{F}_i({\theta }_i-{\theta }_{A,i}^{\ast }{)}^2)\end{array}$$

即
$$\underset{\theta }{\min }(L_B(\theta )+\frac{1}{2}\sum _{i=1}^n{F}_i({\theta }_i-{\theta }_{A,i}^{\ast }{)}^2))$$

如果把第二项看成是正则项，添加控制系数$\lambda$，则优化目标为
$$\underset{\theta }{\min }(L_B(\theta )+\frac{\lambda }{2}\sum _{i=1}^n{F}_i({\theta }_i-{\theta }_{A,i}^{\ast }{)}^2))\text{\hspace{1em}(1.4)}$$

什么是拉普拉斯近似

问题：给定数据集$X$，求模型的参数$W$出现的概率，即$P(W|X)$，此处讲解一维拉普拉斯近似

拉普拉斯近似的定义：假设分布$P(X)=\frac{1}{z}P(Y)$，$z$为常数，拉普拉斯近似的目的在于求解一个高斯分布$P(Y)$来近似$P(X)$

参考文献：https://www.cnblogs.com/hapjin/p/8848480.html

求解：

依据条件概率公式，我们有
$$P(W|X)=\frac{P(X|W)P(W)}{P(X)}$$

由于我们无法直接求解$P(W|X)$，而$P(X)$可以看成是常量，假设参数$W$符合均匀分布，因此，我们可以通过求解$P(X|W)$间接求得$P(W|X)$，此处满足拉普拉斯近似的定义，设$P(X|W)$服从均值为$u$，方差为$\delta$的高斯分布，$X$已知，$W$为变量，则有

$$logP(X|W)=log\frac{1}{\sqrt{2\pi }}-\frac{(w-u{)}^2}{2{\delta }^2}\text{\hspace{1em}(2.0)}$$

设$w^{\ast }$使得$P(X|W)$的一阶偏导为0，二阶偏导小于0，即$P(X|W)$在该点具有极大值。$logP(X|W)$的一阶偏导为0，由式2.0的形式可知，$w^{\ast }$一定存在，设

$$\begin{gathered} f^{\prime }(W)=\frac{\partial logP(X|W)}{\partial W} \\ {f}^{\prime \prime }(W)=\frac{{\partial }^{2}logP(X|W)}{\partial W^2} \end{gathered}$$

则有$f^{\prime }(w^{\ast })=0$，在$W^{\ast }$处对$logP(X|W)$进行二阶泰勒展开得：

$$\begin{array}{rl}logP(X|W)\approx & logP(X|W^{\ast })+f^{\prime }(w^{\ast })+f^{\prime \prime }(W^{\ast })\frac{(w-w^{\ast }{)}^2}{2}\\ \approx & logP(X|W^{\ast })+f^{\prime \prime }(w^{\ast })\frac{(w-w^{\ast }{)}^2}{2}\end{array}\text{\hspace{1em}(2.1)}$$

比对2.0与2.1，可得
$$\begin{array}{rl}u& =w^{\ast }\\ {\delta }^2& =-\frac{1}{f^{\prime \prime }(w^{\ast })}\end{array}$$

式2.0得到求解，由此可得$P(W|X)$

回到EWC，在task A上依据极大似然估计求得参数${\theta }_A^{\ast }$满足
$$\begin{array}{rl}logP(D_A|{\theta }_A^{\ast })& =log\frac{P(D_A{\theta }_A^{\ast })}{P({\theta }_A^{\ast })}\\ & =logP(D_A{\theta }_{A,1}^{\ast }{\theta }_{A,2}^{\ast }...{\theta }_{A,n}^{\ast })-logP({\theta }_{A,1}^{\ast }{\theta }_{A,2}^{\ast }...{\theta }_{A,n}^{\ast })\\ & =logP({\theta }_{A,1}^{\ast }{\theta }_{A,2}^{\ast }...{\theta }_{A,n}^{\ast }|D_A)+logP(D_A)-logP({\theta }_{A,1}^{\ast }{\theta }_{A,2}^{\ast }...{\theta }_{A,n}^{\ast })\end{array}\text{\hspace{1em}(2.2)}$$

各参数相互独立且对$D_A$满足条件独立，式2.2可变为：
$$logP({\theta }_{A,1}^{\ast }|D_A)+logP({\theta }_{A,2}^{\ast }|D_A)+...+logP({\theta }_{A,n}^{\ast }|D_A)+logP(D_A)-\sum _{i=1}^{n}logP({\theta }_{A,i}^{\ast })\text{\hspace{1em}(2.3)}$$

假设各参数满足均匀分布，则$logP(D_A)-{\sum }_{i=1}^{n}logP({\theta }_{A,i}^{\ast })$为常数，依据式2.3，$logP({\theta }_{A,i}^{\ast }|D_A)$为极大值，因此task A上优化的参数可作为拉普拉斯近似的均值。

什么是Fisher information

参考文献：https://wiseodd.github.io/techblog/2018/03/11/fisher-information/（需）

不敲了，好累，直接贴图

最重要的是最后一个结论，

$$F=-E_P(x|\theta )[H_{logP(x|\theta )}]$$

对于一维函数而言，$H_{logP(x|\theta )}=(logP(x|\theta ){)}^{\prime \prime }$，假设我们有$x_1,x_2,...,x_n$，n个采样点，则$$F=-E_P(x|\theta )[H_{logP(x|\theta )}]=-\frac{1}{n}\sum _{i=1}^n(logP(x_i|\theta ){)}^{\prime \prime }$$

在mini-batch的前提下，假设有$m$个样本，记为$x_1,x_2,...,x_m$，则EWC的目标函数为
$$\begin{array}{r}{L}_B(\theta )-\frac{\lambda }{2}\sum _{i=1}^n\sum _{j=1}^m(logP(x_j|{\theta }_i){)}^{\prime \prime }({\theta }_i-{\theta }_{A,i}^{\ast }{)}^2=L_B(\theta )+\frac{\lambda }{2}\sum _{i=1}^n{F}_i({\theta }_i-{\theta }_{A,i}^{\ast }{)}^2\end{array}$$
常数$\frac{1}{m}$可以从$\lambda$中抽取，之所以要强制转成Fisher information，是因为Fisher information是一个一阶导数，计算资源可以得到节约，Fisher information计算公式如下：

$$F_j=\frac{1}{m}\sum _{i=1}^m(\frac{\partial logP(x_i|{\theta }_j)}{\partial {\theta }_j}{)}^2\text{\hspace{1em}(式3.0)}$$

论文很短，但是公式推导省略了一堆，后面的公式较为混乱，有错误亦或是不懂可在评论区指出，论文里有一句话，如下黄线所示：

有同学不懂为啥是Fisher information matrix的对角线，对于分类任务而言，目标函数只有一个，参数有多个，式3.0其实就是Fisher information matrix的对角线上的值。