CVPR 2023 精选论文学习笔记：Continual Semantic Segmentation with Automatic Memory Sample Selection

根据 MECE 原则，我们给出以下四个分类标准：

标准 1：持续学习方法。持续学习是指机器学习模型在不忘记以前学过的知识的情况下学习新任务的能力。持续学习有三种主要方法：

• 复习式方法：这些方法定期回顾和重新训练模型在以前学过的数据的子集上。这有助于防止模型忘记旧知识。
• 示例式方法：这些方法在一个内存缓冲区中存储每个任务的一小组示例。然后，模型在新任务数据以及来自内存缓冲区的示例上进行训练。这有助于确保模型在不忘记旧任务的情况下学习新任务。
• 蒸馏式方法：这些方法使用一个更小、更高效的模型从一个更大、更复杂的模型中学习。这对于持续学习有帮助，因为它可以减少所需的存储空间和计算资源。
• 强化学习式方法：这些方法使用强化学习来学习如何管理模型的内存和训练它在新任务上。这是一种有效的持续学习方法，因为它可以自动学习如何平衡学习新任务和忘记旧任务之间的权衡。

标准 2：内存管理。内存管理是持续学习的一个关键方面。模型必须能够在不占用过多内存的情况下存储和访问过去任务的信息。内存管理有四种主要方法：

• 重放缓冲区：重放缓冲区是一种简单的存储过去任务数据的方法。模型定期在重放缓冲区中的数据样本上进行训练。
• 记忆整合：记忆整合是一种更复杂的内存管理方法。它涉及识别和重新组织模型的记忆，使它们更高效。
• 知识蒸馏：知识蒸馏是一种将知识从一个大的、复杂的模型转移到一个更小、更高效的模型的技术。这对于持续学习有帮助，因为它可以减少所需的存储空间和计算资源。