AAAI 2021 | 图蒸馏与小样本增量学习的碰撞

©作者 | 洪晓鹏

单位 | 西安交通大学

研究方向 | 增量学习、视频监控等

本文首次将图蒸馏技术应用到小样本深度类增量学习问题，提出了基于图关系知识蒸馏的知识抽取和表示的解决方案，已被 AAAI 2021 发表。

论文标题：

Few-Shot Class-Incremental Learning via Relation Knowledge Distillation

论文作者：

董松林、洪晓鹏、陶小语、常新远、魏星、龚怡宏

论文链接：

https://ojs.aaai.org/index.php/AAAI/article/view/16213

尽管深度卷积神经网络（CNNs）已经在大量的计算机视觉和模式识别任务中取得了卓越的性能，其通用的方法是通过大量的有监督数据来学习模型并实现特定的功能，这些数据通常是固定的，不能根据用户的需要而改变。

然而理想的人工智能模型应该能够适应不断变化的世界。例如，他们可以不断地学习新的任务，但是不会忘记他们以前学过的任务。因此，增量学习（即持续学习，或终身学习）由于能够在广泛的实际应用中进行连续模型学习而备受关注。

目前，大多数的增量学习方法都是从带有注释的大规模的训练样本中学习新任务。然而，在实践中，连续，稳定地标记数据流是昂贵的，更现实的情况是只有很少量的带有注释的样本可用。

针对这一具有挑战性但有很大应用前景的小样本增量学习问题，本文深入探索了旧任务中范例的关系信息，提出了一种新颖的小样本 CIL 框架，称为范例关系知识蒸馏增量学习（ERDIL）。ERDIL 引入了基于图的关系知识蒸馏（RKD），有效地将旧知识转移到 CNN 模型中用于新任务的学习（过去的增量学习方法都是基于传统的孤立知识点蒸馏 IKD。

图1：孤立知识点蒸馏IKD和关系知识蒸馏RKD的区别

本文所提图关系知识蒸馏 RKD 与传统知识蒸馏 IKD 的区别如图 1 所示：

• 传统知识蒸馏 IKD 将知识点对点转移（原始 logit 到新 logits）

• 关系知识蒸馏 RKD 则转移 logits 的结构关系（例如，邻接关系）

图2：范例关系知识蒸馏增量学习框架图

具体地，如上图所示，我们首先提出一种基于度的范例选择机制，以构造有向范例关系图（ERG），并设计了一种基于范例关系的损失函数，以将嵌入在 ERG 中的关系信息传递给新任务。最后，通过量度学习避免新旧类数据之间的歧义问题。

所提方法在 CIFAR100，miniImageNet 和 CUB200 数据库上进行了验证，并取得了超越主流方法的性能。

在CIFAR100 (ResNet20) 和 miniImageNet (ResNet18) 上的识别率比较

在本文的实验部分，我们还发现了一个有趣甚至有些令人惊讶的现象。我们的 ERDIL 超过了 Joint-CNN 的性能，即将所有 session 数据聚合在一起之后统一训练的 CNN 模型性能（在我们此前的 CVPR 2020 Oral 文章中我们将后者看作为小样本增量学习方法的经验上限）。 

小样本也能增量学习？CVPR20 Oral最新干货：小样本类增量学习

https://zhuanlan.zhihu.com/p/136823964

我们对此进行分析，认为原因可能在于 Joint-CNN 的方式无法在小样本条件下在新旧任务之间达到较好的平衡。通过 Joint-CNN 协议训练的模型倾向于过拟合旧类训练样本，而这会为小样本增量学习 FSCIL 学习新的模型带来困难。因此，我们认为，Joint-CNN 更适合作为常规 CIL 的上限，因为新旧类别有足够且相对平衡的样本，而不适合作为小样本增量学习的上限。因此，小样本增量学习的上限是什么将是未来 FSCIL 研究的一个值得关注的话题。

文章引用信息：

Bibtex： 

@InProceedings{Dong_2021_RDK, author = {Dong, Songlin and Hong, Xiaopeng and Tao, Xiaoyu and Chang, Xinyuan and Wei, Xing and Gong, Yihong}, title = {Few-Shot Class-Incremental Learning via Relation Knowledge Distillation}, booktitle = {Proceedings of the AAAI Conference on Artificial Intelligence (AAAI)}, year = {2021} } 

Plain text: 

Dong, S., Hong, X., Tao, X., Chang, X., Wei, X., & Gong, Y. (2021). Few-Shot Class-Incremental Learning via Relation Knowledge Distillation.Proceedings of the AAAI Conference on Artificial Intelligence,35(2), 1255-1263.

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

???? 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

???? 投稿通道：

• 投稿邮箱：[email protected] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。