浓缩就是精华：用大一统视角看待数据集蒸馏

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>CV微信技术交流群

24页述评，167篇参考文献，新加坡国立大学发布最新数据集蒸馏全面述评！数据集蒸馏算法经过发展衍生出许多不同的类别，这些类别从不同的视角出发对算法进行革新。但是，新加坡国立大学提出大一统的视角来看待所有数据集蒸馏算法，这么多种类的算法，看似完全不相关，居然遵从同一套模式，有着密切的联系！

有关深度学习的研究和应用从过去几年到现在正如火如荼地进行。深度学习的成功，无论是2012年用于视觉分类的AlexNet，还是2018年用于自然语言理解的BERT，亦或是现如今广泛应用于视觉文本多模态交互的CLIP模型，无一不归功于在大规模数据集进行训练。然而，如此大量的数据不仅给存储传输带来巨大压力，还给模型训练带来了极大的时间、运算资源上的开销。此外，直接发布原始数据，无可避免地会牵涉隐私、版权等问题。

关注于这一系列不便之处，数据集蒸馏，又名数据集压缩，这一领域在近年来被提出，并得到广泛研究。给定一个原始的大数据集，数据集蒸馏旨在将其浓缩并生成一个小型数据集，使得在这一小数据集上训练出的模型，和在原数据集上训练得到的模型表现相似，如下图所示。

最近，来自新加坡国立大学的研究者发布了对于这一领域及其应用的全面述评。文章旨在以大一统视角看待近年来有关数据集蒸馏方面的工作，总结出数据集蒸馏问题的一般算法框架，并基于该框架中关键要素提出一种对现有方法系统的分类体系，指出了不同方法之间内在理论上的联系。此外，文章还从模型准确率、耗时、内存占用等实验指标出发，总结了各个方法的优缺点，并指出当前这一领域面临的挑战以及未来可能的发展方向。

首先，文章讨论了与数据集蒸馏领域密切相关的领域：模型蒸馏、核心数据选取、生成式模型、以及超参数优化，着重讨论了数据集蒸馏和它们的区别与联系。

接着，根据数据集蒸馏的目标：使得在蒸馏得到的数据集上训练出的模型与在原数据集上训练而成的模型表现相似，数据集蒸馏的算法往往会同时涉及模型的训练以及蒸馏数据集的更新，文章将现有的数据集蒸馏算法统一至同一框架下，如下图所示，并提出数据集蒸馏算法的四要素：蒸馏数据集的优化目标、模型的训练方式、蒸馏数据集的存储格式（参数化方式）以及样本标签的学习方式。

根据这四大要素，文章对现有的数据集蒸馏方法提出了一种系统的分类方式，如下图所示。

此外，对于不同优化目标：模型性能匹配、模型参数匹配、特征分布匹配，它们之间的理论上的内在联系也在文章中得到详细讨论。

除了对蒸馏算法本身，文章还讨论了数据集蒸馏在十大领域上的应用，包含：

1. 持续学习、增量学习、终身学习；

2. 联邦学习；

3. 神经架构搜索；

4. 隐私、安全、鲁棒性；

5. 图神经网络；

6. 推荐系统；

7. 自然语言处理；

8. 知识蒸馏；

9. 医学图像处理；

10. 艺术设计。

论文通过实验对不同方法得到的蒸馏数据集训练出模型的测试精度、蒸馏过程的时间和显存消耗做了详细对比，分析得到各方法的优缺点，并指出如下未来可能的研究方向：

1. 提升算法可扩展性，使其支持更大规模的压缩率、数据集以及模型；

2. 跨模型架构泛化，即在蒸馏训练时与使用蒸馏数据集进行下游训练时使用不同架构；

3. 蒸馏算法计算复杂度优化；

4. 针对更多任务与应用的数据集蒸馏；

5. 蒸馏数据集的安全与隐私保护。

   更多关于统一的算法框架如何运行、如何对不同优化目标之间的联系进行理论分析等细节，请参阅原文。

   论文链接：https://arxiv.org/abs/2301.07014
   

点击进入—>CV微信技术交流群

CVPR/ECCV 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集

后台回复：ECCV2022，即可下载ECCV 2022论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看