Raki的读paper小记：ONLINE CORESET SELECTION FOR REHEARSAL-BASED CONTINUAL LEARNING

Abstract & Introduction & Related Work

• 研究任务
  持续学习

• 已有方法和相关工作
  

• 面临挑战
  计算复杂度太高

• 创新思路
  在一个数据集中，每个数据的重要性是不一样的，数据的质量直接影响模型的有效性和效率，为了处理这个问题，提出Online Coreset Selection，一种简单而有效的方法，在每次迭代中选择最具代表性和信息量的核心集，并以在线方式对其进行训练

• 实验结论
  我们提出的方法最大限度地提高了模型对当前数据集的适应性，同时选择对过去任务的高亲和力样本，这直接抑制了灾难性遗忘。我们在各种标准的、不平衡的和嘈杂的数据集上验证了我们的核心集选择机制的有效性，并证明了它能改善任务适应性，并以一种有效的样本方式防止灾难性遗忘

挑选方法基于以下三个策略：

1. 小批量相似性选择对当前任务有代表性的样本
2. 跨批次多样性鼓励在当前任务的样本中尽量减少冗余
3. 核心集亲和力促进所选样本与先前任务的知识之间的干扰最小，$\forall k<t$。

为此，OCS通过利用获得的核心集进行未来的训练，最大限度地减少了对以前任务的灾难性遗忘，同时也鼓励通过更新前κ个选定数据实例的模型参数来适应当前的任务

REHEARSAL-BASED CONTINUAL LEARNING

例如，在描述一项任务和提高模型性能方面，一些数据实例可以比其他数据实例更具信息量和代表性。相反，有些数据实例会降低模型对以前任务知识的记忆。因此，获得对当前任务最有利的例子对基于排练的CL方法的成功至关重要

基于这一动机，我们的目标是选择能够促进当前任务适应的数据实例，同时尽量减少对以前任务的灾难性遗忘。我们提出了一个选择标准，即选择代表实例与当前任务数据集之间梯度相似度最大的子集。更为正式的是

其中，S是任意的相似性函数，$u^{\ast }$ 是一个索引集，它在不替换的情况下选择前 $k$ 个信息样本。然而，从整个数据集中获得一个有代表性的子集在计算上是很昂贵的，而且对于在线持续学习来说是难以实现的；因此，我们把minibatch看作是数据集的一个近似值，并在每个minibatch迭代中选择少数有代表性的数据实例。在附录B和图B.9中，我们通过经验验证了我们的近似值在不同的数据集、网络结构和minibatch大小中普遍成立。因此，该模型迭代更新参数，利用信息丰富的数据点找到损失的最佳局部最小值，这些数据点的梯度方向与数据集的平均梯度相似。在下一节中，我们提出了OCS，它由一个简单的相似性标准来实现这一目标。然而，相似性标准不足以为在线持续学习选择有代表性的核心集；因此，我们提出了多样性和核心集亲和力标准，以减轻灾难性遗忘

ONLINE CORESET SELECTION

很多数据并没有多少信息，在现实世界中并不适合用来构建回放缓存，并且还会影响模型的表现，所以选择有价值的样本是非常关键的，因为模型很容易对有偏差的嘈杂数据流过拟合，对模型的泛化性造成负面影响，为了满足这个需求，我们提出了基于上述假设的小批量相似性 $\mathcal{S}$ 和跨批量多样性 $\mathcal{V}$ 标准，以适应性地选择有用的实例，不受异常值的影响

特别是，minibatch相似性认为minibatch是当前任务数据集的近似值，并比较数据点b的梯度向量与它的minibatch $\mathcal{B}$ 之间的 minibatch 级相似性。它衡量一个特定的数据实例在每个训练步骤中对当前任务的描述程度。请注意，当任务实例的方差较低时，选择具有最大的 minibatch 相似性的例子是合理的；否则，它将增加核心集项目之间的冗余度。相比之下，我们将每个数据点 $b\in \mathcal{B}$ 的样本多样性表述为数据点本身与同一minibatch $\mathcal{B}$ 中其他样本之间的平均异同度（即负相似度的平均值），而不是平均相似度。 因此，方程（4）中对样本多样性的测量范围是[-1, 0]

ONLINE CORESET SELECTION FOR CURRENT TASK ADAPTATION

在训练过程中，模型接收到的数据是连续的，包括现实世界场景中的嘈杂或冗余的数据实例。因此，到达的数据实例可能会干扰和损害模型的性能。为了解决这个问题，我们考虑将小批量相似性和跨批量多样性结合起来，选择对当前任务训练最有帮助的实例。更正式地说，我们对当前任务的在线核心集选择可以定义如下

ONLINE CORESET SELECTION FOR CONTINUAL LEARNING

Definition 3 (Coreset affinity).

虽然过去的任务在其训练完成后是无法访问的，但我们有选择地填充的重放缓冲区可以有效地用来描述以前任务的知识。关键的想法是选择那些使包含先前任务例子的核心集的梯度向量与当前任务例子之间的角度最小的例子。而不是随机替换核心集中的候选者（Lopez Paz & Ranzato, 2017; Chaudhry et al., 2019a; Aljundi et al., 2019b; Borsos et al., 2020），A促进选择那些不会使模型在以前任务中的表现退化的例子。为此，我们选择最有利的训练实例，这些实例对当前的任务适应性具有代表性和多样性，同时保持对过去任务的了解。综上所述，我们在CL期间训练任务 $T_t$ 的OCS可以表述为:

tao是一个超参数，控制模型的可塑性和稳定性程度，注意，在第一个任务训练期间，我们没有来自以前任务的干扰，我们选择了使小批相似性和跨批多样性最大化的前 k 个实例。考虑到得到的核心集，我们反映核心集C的优化目标如下

OCS算法流程如下：

EXPERIMENTS

CONCLUSION

我们提出了在线核心集选择（OCS），这是一种在线持续学习中核心集选择的新方法。我们的方法被模拟成一种基于梯度的选择策略，选择具有代表性和多样性的实例，这对在每次迭代中保留以前任务的知识很有帮助。本文迈出了第一步，利用核心集来提高当前任务的适应性，同时减轻了对以前任务的灾难性遗忘。我们在标准的平衡持续学习数据集上对最先进的基于演练的技术进行了实验评估，证明了我们方法的效率。我们还在各种现实的、具有挑战性的不平衡和噪声的持续学习数据集上显示了很好的结果。我们进一步展示了我们的选择策略在现有的基于排练的持续学习中使用随机重放缓冲器的自然扩展。我们未来的工作将集中在改进选择策略和探索在训练期间利用未标记数据流的方法

Remark

方法很好，也work，实验详尽，是一篇很硬的paper，还需要时间来消化