读书笔记-增量学习-EEIL_End-to-End Incremental Learning

一篇2018年的论文：End-to-End Incremental Learning。为了使模型实现增量学习，把新、旧数据一起重新训练会导致时间、存储成本等一系列问题。作者提出的方法仅使用新数据与部分代表性的旧数据。基于Distillation知识蒸馏从旧数据中提取代表性样本、Cross entropy交叉熵学习新数据。题目的End-to-End指的是能同时训练更新Classification分类器和代表性样本。

作者认为，一个拥有增量学习能力的深度神经网络模型应该拥有以下特征：

1. Ability to being trained from a flow of data, with classes appearing in any order, and at any time。能在任意时刻，对数据流中任意顺序的数据进行学习。

2. Good performance on classifying old and new classes。优秀的分类性能。

3. Reasonable number of parameters and memory requirements for the model。模型参数及内存大小合理。

4. End-to-End learning mechanism to update the classifier and the feature representation jointly。对模型中分类器和代表性样本同步更新。

因此，作者提出了如下增量学习架构，任意深度学习模型都可以套用这个框架（仅需修改损失函数），实现有效的增量学习：