增量学习

增量学习

什么是增量学习

学习

online

offline

incremental

decremental

others

offline：训练时能一次性获取全部的训练数据
online：训练数据依次到来，根据新的数据更新模型

incremental：学习系统能不断地从新样本中学习新的知识,并能保存大部分以前已经学习到的知识
分为三类：

• E-IL (Example-Incremental Learning)
• C-IL (Class-Incremental Learning)
• A-IL (Attribute-Incremental Learning)[3]

特点：
1)可以从新数据中学习新知识;
2)以前已经处理过的数据不需要重复处理;
3)每次只有一个训练观测样本被看到和学习;
4)学习新知识的同时能保存以前学习到的大部分知识;
5)—旦学习完成后训练观测样本被丢弃;
6)学习系统没有关于整个训练样本的先验知识;

decremental：递减学习，即抛弃“价值最低”的保留的训练样本

【概念辨别】：数据流算法是一种用于处理告诉持续流数据的在线算法。在数据流算法中，样本按照一定的顺序输入，并且只能处理有限轮（通常只有一轮）。数据流算法只能利用有限的内存，并且处理每个数据项的时间是有限的。[2]
Generally speaking, a data stream is a sequence of unbounded, real-time data items with a very high rate that can be read only once by an application（one-pass constraint）
流数据的特点：实时性、易失性、突发性、无序性、无限性

增量学习的主流方法分类

Parameter-based

这种方法对原模型中每个参数的重要性进行度量，在重要参数发生变化时加上更多的补偿。代表的算法有EWC，SI，MAS等。这些算法的主要区别在于如何衡量参数的重要性。但是，在训练过程中，尤其是长序列数据的训练过程中，如何设计一个合理的度量方式来衡量每个参数的重要性是很困难的。[1]

Distillation-based

这是一种基于知识蒸馏的实现方法。最早是在learning without forgetting（LwF）中提出的，它使用了交叉熵损失来保留原模型中的知识。Aljundi等人提出了在多个任务上训练多个网络的算法，然后使用一个自编码器来为每个测试样本选择一个网络进行预测。上述算法训练了多个分类器，每个分类器只根据单独的任务来进行评价。

【1】Learning a Unified Classifier Incrementally via Rebalancing
【2】A Survey on Concept Drift Adaptation
【3】Zhou Z H , Chen Z Q . Hybrid decision tree[J]. Knowledge-Based Systems, 2002, 15(8):515-528.