基于Knowledge Distillation的增量学习论文学习(之三)——iCaRL: Incremental Classifier and Representation Learning
这是CVPR2017的一篇论文,发表以后一直作为IL的一个基准方法被引用。作者对增量学习的观点包括如下三点:(1)增量算法可以训练不同时间出现的新数据;(2)增量算法需在旧数据集中表现良好,即可以完美解决“灾难遗忘”问题;(3)计算能力与内存应该随着类别数的增加固定或者缓慢增量。乍看下来,与LwF算法没有太大区别,但因为第(3)条的存在,给作者开了一个口子,即可以存储一部分旧数据,参与增量训练。具