【每周CV论文推荐】初学模型蒸馏值得阅读的文章
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
模型蒸馏是非常重要的模型压缩方法，在学术界研究非常广泛，本次我们来简单给大家推荐一些初入该领域值得阅读的工作。
作者&编辑 | 言有三
1 基于优化目标驱动的知识蒸馏框架
Hinton最早在文章“Distilling the knowledge in a neural network”中提出了知识蒸馏的概念，其核心思想是一旦复杂网络模型训练完成，便可以用另一种训练方法从复杂模型中提取出来更小的模型。
文章引用量：11000+
推荐指数：✦✦✦✦✦
[1] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015, 2(7).
2 基于特征匹配约束的知识蒸馏框架
上述基本的蒸馏框架以优化目标来约束teacher模型和student模型进行协同学习，模型学习的具体细节难以控制，会让训练不稳定且缓慢，更通用的方法其实是利用隐藏层特征来进行匹配约束，典型框架是FitNets。
文章引用量：2000+
推荐指数：✦✦✦✦✦
[2] Romero A, Ballas N, Kahou S E, et al. Fitnets: Hints for thin deep nets[J]. arXiv preprint arXiv:1412.6550, 2014.
[3] Huang Z, Wang N. Like what you like: Knowledge distill via neuron selectivity transfer[J]. arXiv preprint arXiv:1707.01219, 2017.
3 自蒸馏框架
在上面我们介绍的框架中，假设教师模型一定是比学生模型表现更好，但是教师模型的存在增加了训练的难度，而且教师模型的存在是否一定是必要的，研究者后面开始思考不需要教师模型的框架，这些可以统一归为自蒸馏框架。
文章引用量：1000+
推荐指数：✦✦✦✦✧
[4] Zhang Y, Xiang T, Hospedales T M, et al. Deep mutual learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4320-4328.
[5] Zhang L, Song J, Gao A, et al. Be your own teacher: Improve the performance of convolutional neural networks via self distillation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 3713-3722.
4 对知识蒸馏的理解
关于知识蒸馏本身的有效性问题，这几年研究者有不少新的发现，比如知识蒸馏到底是不是真的比从头训练小模型更好，教师模型的存在是必要的吗，教师模型是不是越强越好，与剪枝量化框架的结合，大家也可以多关注关注。
文章引用量：300+
推荐指数：✦✦✦✦✧
[6] Cho J H, Hariharan B. On the efficacy of knowledge distillation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 4794-4802.
[7] Yuan L, Tay F E H, Li G, et al. Revisit knowledge distillation: a teacher-free framework[J]. 2019.
5 如何实战
为了帮助大家掌握模型优化压缩的相关知识！我们推出了相关的专栏课程《深度学习之模型优化：理论与实践》，讲解模型剪枝、模型量化、模型蒸馏等方向的理论与实践，感兴趣可以进一步阅读：
【视频课】AI必学，超10小时，4大模块，掌握模型优化核心技术！
总结
本次我们介绍了模型蒸馏的一些典型研究，从事相关方向的朋友可以通过阅读这些文章进行初步了解，模型蒸馏是掌握模型压缩任务的必经之路。
有三AI- CV夏季划
如何系统性地从零进阶计算机视觉，永久系统性地跟随我们社区学习CV的相关内容，请关注有三AI-CV夏季划组，阅读了解下文：
【CV夏季划】2022年正式入夏，从理论到实践，如何系统性进阶CV？（产学研一体的超硬核培养方式）
转载文章请后台联系
侵权必究
往期相关精选
【每周CV论文推荐】 掌握残差网络必读的10多篇文章
【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章
【每周CV论文推荐】 CV领域中数据增强相关的论文推荐
【每周CV论文推荐】 初学高效率CNN模型设计应该读的文章
【每周CV论文推荐】 初学目标检测必须要读的文章
【每周CV论文推荐】 初学深度学习图像分割必须要读的文章
【每周CV论文】初学实例分割需要读哪些文章？
【每周CV论文推荐】 初学GAN必须要读的文章
【每周CV论文推荐】 深度学习人脸检测入门必读文章
【每周CV论文推荐】 初学深度学习人脸关键点检测必读文章
【每周CV论文推荐】 初学深度学习人脸识别和验证必读文章
【每周CV论文推荐】 初学深度学习人脸属性分析必读的文章
【每周CV论文推荐】 初学活体检测与伪造人脸检测必读的文章
【每周CV论文推荐】 初学深度学习单张图像三维人脸重建需要读的文章
【每周CV论文推荐】 人脸识别剩下的难题：从遮挡，年龄，姿态，妆造到亲属关系，人脸攻击
【每周CV论文推荐】换脸算法都有哪些经典的思路？
【每周CV论文推荐】初学人脸属性编辑都有哪些值得阅读的论文？
【每周CV论文】深度学习文本检测与识别入门必读文章
【每周CV论文】深度学习图像降噪应该从阅读哪些文章开始
【每周CV论文】初学GAN图像风格化必须要读的文章
【每周CV论文】初学深度学习图像超分辨应该要读的文章
【每周CV论文】初学深度学习图像对比度增强应该要读的文章
【每周CV论文】初学深度学习图像修复应该要读的文章
【每周CV论文】初学深度学习图像风格化要读的文章
【每周CV论文推荐】初学模型可视化分析有哪些值得阅读的论文？
【每周CV论文推荐】GAN与VAE的结合，有哪些必读的论文？
【每周CV论文推荐】初学视频分类与行为识别有哪些值得阅读的论文？
【每周CV论文推荐】初学视觉注意力机制有哪些值得阅读的论文？
【每周CV论文推荐】StyleGAN人脸属性编辑有哪些经典论文需要阅读
【每周CV论文推荐】初学基于GAN的视频生成有哪些经典论文需要阅读
【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读
【每周CV论文推荐】基于GAN的图像数据增强有哪些经典论文值得阅读
【每周CV论文推荐】GAN如何用于目标检测模型提升性能？
【每周CV论文推荐】GAN如何用于图像分割模型提升性能？
【每周CV论文推荐】初学基于GAN的图像语义编辑，需要阅读哪些论文？
【每周GAN论文推荐】最经典与常见的GAN目标函数设计汇总
【每周CV论文推荐】GAN在医学图像生成与增强中的典型应用
【每周CV论文推荐】基于GAN的对抗攻击，适合阅读那些文章入门？
【每周CV论文推荐】GAN在医学图像分割中的典型应用
【每周CV论文推荐】GAN在自动驾驶视觉任务中的典型应用
【每周CV论文推荐】基于GAN的图像降噪值得阅读的文章
【每周CV论文推荐】基于GAN的图像对比度与色调映射增强值得阅读的文章
【每周CV论文推荐】基于GAN的图像超分辨值得阅读的文章
【每周CV论文推荐】基于GAN的图像修复值得阅读的文章
【每周CV论文推荐】初学模型剪枝值得阅读的文章
【每周CV论文推荐】初学模型量化值得阅读的文章