distillation 第6页

模型压缩 —— 知识蒸馏（Knowledge Distillation）

https://zhuanlan.zhihu.com/p/81467832在深度学习的背景下，为了达到更好的预测，常常会有两种方案：1.使用过参数化的深度神经网络，这类网络学习能力非常强，因此往往加上一定的正则化策略(如dropout)；2.集成模型(ensemble)，将许多弱的模型集成起来，往往可以实现较好的预测。这两种方案需要的计算量和计算资源很大，对部署非常不利。这也就是模型压缩的动机：我

rainbow_lucky0106·2022-08-13 07:53

模型压缩 | TIP 2022 - 蒸馏位置自适应：Spot-adaptive Knowledge Distillation

TIP2022-蒸馏位置自适应：Spot-adaptiveKnowledgeDistillation本文已授权极市平台,并首发于极市平台公众号.未经允许不得二次转载.原始语雀文档：https://www.yuque.com/lart/gw5mta/vhbggb论文：https://arxiv.org/abs/2205.02399代码：https://github.com/zju-vipa/spot

有为少年·2022-08-13 07:43

基于Knowledge Distillation的增量学习论文学习（之三）——iCaRL: Incremental Classifier and Representation Learning

这是CVPR2017的一篇论文，发表以后一直作为IL的一个基准方法被引用。作者对增量学习的观点包括如下三点：（1）增量算法可以训练不同时间出现的新数据；（2）增量算法需在旧数据集中表现良好，即可以完美解决“灾难遗忘”问题；（3）计算能力与内存应该随着类别数的增加固定或者缓慢增量。乍看下来，与LwF算法没有太大区别，但因为第（3）条的存在，给作者开了一个口子，即可以存储一部分旧数据，参与增量训练。具

azy1988·2022-06-11 07:14

知识蒸馏Knownledge Distillation

知识蒸馏源自Hintonetal.于2014年发表在NIPS的一篇文章：DistillingtheKnowledgeinaNeuralNetwork。1.背景一般情况下，我们在训练模型的时候使用了大量训练数据和计算资源来提取知识，但这不方便在工业中部署，原因有二：（1）大模型推理速度慢（2）对设备的资源要求高（大内存）因此我们希望对训练好的模型进行压缩，在保证推理效果的前提下减小模型的体量，知识蒸

一位学有余力的同学·2022-05-21 10:10

Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data, NeurIPS 2021

motivationSTARTUP(ICLR2021)中提出基于self-training的思想用targetdomain的去标记数据联合训练模型。但STARTUP中使用在baseclasses上预先训练得到的网络，为未标记的目标样本创建软标签。域间差异较大时，使用固定的预训练模型将目标图像投影到基数据集的类域中可能是次优的。本文的问题设置和STARTUP中是一致的：带标签的源域样本+去标签的目标

RitaRao·2022-05-21 07:09

Focal and Global Knowledge Distillation for Detectors

一.概述论文地址：链接代码地址：链接论文简介：此篇论文是在CGNet上增加部分限制loss而来核心部分是将gt框变为mask进行蒸馏注释：仅为阅读论文和代码，未进行试验，如有漏错请不吝指出。文章的疑惑和假设仅代表个人想法。二.详细2.1FocalDistillation2.

影醉阏轩窗·2022-05-10 10:00

知识蒸馏Knownledge Distillation

知识蒸馏源自Hintonetal.于2014年发表在NIPS的一篇文章：DistillingtheKnowledgeinaNeuralNetwork。1.背景一般情况下，我们在训练模型的时候使用了大量训练数据和计算资源来提取知识，但这不方便在工业中部署，原因有二：（1）大模型推理速度慢（2）对设备的资源要求高（大内存）因此我们希望对训练好的模型进行压缩，在保证推理效果的前提下减小模型的体量，知识蒸

Pr4da·2022-05-07 16:28

论文解读：Decoupled Knowledge Distillation

1.论文基本信息论文：DecoupledKnowledgeDistillation地址：https://arxiv.org/pdf/2203.08679.pdf代码：https://github.com/megvii-research/mdistiller2.背景与摘要知识蒸馏花样繁多，在有教师模型的基础上，知识蒸馏可以从response、relation、feature等角度进行研究，设计los

littletomatodonkey·2022-05-06 07:17

论文解读（IGSD）《Iterative Graph Self-Distillation》

论文信息论文标题：IterativeGraphSelf-Distillation论文作者：HanlinZhang,ShuaiLin,WeiyangLiu,PanZhou,JianTang,XiaodanLiang

Learner-·2022-04-28 11:00

小样本目标检测论文翻译总结 2021 CVPR Dense Relation Distillation with Context-aware Aggregation

DenseRelationDistillationwithContext-awareAggregationforFew-ShotObjectDetectionAbstractConventionaldeeplearningbasedmethodsforobjectdetectionrequirealargeamountofboundingboxannotationsfortraining,whic

星 ♚ 城·2022-03-18 07:29

用于异常检测的多分辨率知识蒸馏

论文地址：https://arxiv.org/pdf/2011.11108.pdf官方代码：https://github.com/Niousha12/Knowledge_Distillation_AD自实现代码

Hibiki阿杰·2022-03-16 19:47

Image Manipulation:StyleGAN2 Distillation for Feed-forward Image Manipulation(2020)

StyleGAN2DistillationforFeed-forwardImageManipulationstylegan2-distillation摘要StyleGAN2是用于生成逼真的图像的先进网络

studyeboy·2022-03-15 07:53

【Knowledge Distillation】知识蒸馏总结

KnowledgeDistillation背景知识蒸馏（KD）是想将复杂模型（teacher）中的darkknowledge迁移到简单模型（student）中去，一般来说，teacher具有强大的能力和表现，而student则更为紧凑。通过知识蒸馏，希望student能尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。Hinton在DistillingtheKnowled

Gaoyt__·2022-02-20 04:54

Introspective Distillation for Robust Question Answering 论文笔记

IntrospectiveDistillationforRobustQuestionAnswering论文笔记一、Abstract二、引言三、Relatedwork3.1视觉问答3.2ExtractiveQuestionAnswering3.3Ensemble-basedmethodsfordebiasing3.4KnowledgeDistillation四、内省蒸馏4.1ID-Teacheran

乄洛尘·2021-12-05 16:58

【Lifelong learning】Lifelong Language Knowledge Distillation

链接：http://arxiv.org/abs/2010.02123简介LifelongLanguageKnowledgeDistillation终身语言知识提炼，是一种利用知识蒸馏的终身学习方法。其主要思想是：每次遇到新任务时，不直接让model去学习，而是先在任务上训练一个teachermodel，然后运用知识蒸馏技术，将知识传递给model。知识蒸馏：有两个模型：studentmodel（小

Baigker·2021-12-02 16:33

Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation 论文笔记

本文提出使用使用联邦蒸馏（federateddistillationFD）和联邦增强（federatedaugmentationFAug）来解决联邦学习中客户端数据非独立同分布和客户端之间通讯开销大的问题。论文地址：Communication-EfficientOn-DeviceMachineLearning:FederatedDistillationandAugmentationunderN

Zoran_卓·2021-05-20 20:13

理解Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning

理解TowardsUnderstandingEnsemble,KnowledgeDistillationandSelf-DistillationinDeepLearning深度学习中的三个神秘之处神经网络集成vs特征图集成集成vs减少单个模型的误差多视图数据：新方法去证明深度学习中的集成知识蒸馏：让单个模型去学习多个视图自蒸馏：隐式地结合集成和知识蒸馏总结Reference注：本文转载自：学术头条

MasterQKK 被注册·2021-02-18 14:59

【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention

本文主要对Facebook最近提出来的DeiT模型进行阅读分析。一、动机：DeiT解决什么问题？现有的基于Transformer的分类模型ViT需要在海量数据上（JFT-300M，3亿张图片）进行预训练，再在ImageNet数据集上进行fune-tuning，才能达到与CNN方法相当的性能，这需要非常大量的计算资源，这限制了ViT方法的进一步应用。Data-efficientimagetransf

一的千分之一·2021-01-30 18:50

李宏毅作业七其二 Network Compression (Knowledge Distillation)

NetworkCompression——KnowledgeDistillation前言一、knowledgedistillation是什么？1.原理2.KL散度3.Readme二、网络模型代码1.加载数据集，定义环境2.定义KL散度3.数据处理4.预处理5.开始训练前言知识蒸馏，实质上就是用训练好的网络告诉没训练的网络如何学习。一、knowledgedistillation是什么？1.原理知识蒸馏

闲看庭前雪·2020-11-05 14:36

Knowledge Distillation论文阅读之：综述文章：Knowledge Distillation: A Survey（未完待续····）

只挑重点的说，不是翻译论文文章目录Abstract1.Introduction2.Background3.Knowledge3.1Response-baseKnowledge3.2Feature-BasedKnowledge3.3Relation-BasedKnowledgeAbstract本问提供了KD的复杂研究包括了下述方面：KD的种类训练方案teacher-student结构蒸馏算法表现对比

暖仔会飞·2020-11-04 18:17

(IMDN ACMM2019)轻量化Lightweight Image Super-Resolution with Information Multi-distillation Network

https://arxiv.org/pdf/1909.11856.pdf作者的项目地址：代码论文作者：ZhengHui西安电子科技大学一、简单介绍受IDN（CVPR2018）的的启发，文章提出了Multi-distillation

叱咤风云666·2020-09-13 05:31

【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派

我已经有两年ML经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。已经有人记了笔记（很用心，强烈推荐）：https://github.com/Sakura-gh/ML-notes本节内容综述本节课由助教ArvinLiu补充一些前沿的技术，李老师讲的，其实有些老了。首先复习模型压缩的四个流派。Whylearn'emall?Mixit!助教举了一个混合的例子。接下来进入本节课正题，讲

PiperNest (同公众号)·2020-09-11 23:07

Sequence-Level Knowledge Distillation

《Sequence-LevelKnowledgeDistillation》序列级别的知识提炼一、大纲这篇论文主要讲的是模型压缩，也就是训练一个简单的网络来代替已有的复杂的网络，训练的目标两个网络的交叉熵最小（两个网络的效果相近）和简单网络的负对数似然最小（网络的效果好）。二、Word-Level描述：TeacherNetwork和StudentNetwork分别训练处没个词的概率分布（向量维度为词

可乐司机·2020-09-11 21:01

知识蒸馏（Distillation）相关论文阅读（2）——Cross Model Distillation for Supervision Transfer

每天都要深度学习·2020-09-11 21:53

Similarity-Preserving Knowledge Distillation

Motivation下图可以发现，语义相似的输入会产生相似的激活。这个非常好理解，这个C维的特征向量可以代表该输入的信息因此本文根据该观察提出了一个新的蒸馏loss，即一对输入送到teacher中产生的特征向量很相似，那么送到student中产生的特征向量也应该很相似，反义不相似的话同样在student也应该不相似。该loss被称为Similarity-preserving，这样student不用

爆米花好美啊·2020-09-11 21:14

MoonShine: Optimizing OS Fuzzer Seed Selection with Trace Distillation 论文阅读总结

本文发表于UsenixSecurity2018，作者：ShankaraPailoor，AndrewAday，SumanJana。三位作者均来自于ColumbiaUniversity。1.IntroductionOSFuzzer是一种主要在操作系统内核与用户态程序间利用system-call进行安全漏洞挖掘的工具。现有Fuzzer的效率主要依赖种子程序中system-call序列的高质量与多样性，但

RainyD4y·2020-09-11 00:40

车道线检测Learning Lightweight Lane Detection CNNs by Self Attention Distillation

LearningLightweightLaneDetectionCNNsbySelfAttentionDistillation2019ICCV摘要由于车道标注中固有的非常稀疏的监控信号，训练车道检测的深度模型是一个挑战。没有从更丰富的环境中学习，这些模型往往在具有挑战性的场景中失败，例如，严重的遮挡、模糊的车道和糟糕的照明条件。本文提出了一种新的知识蒸馏方法，即自我注意力蒸馏（selfattent

yours13·2020-08-24 01:40

[总结]神经网络・压缩 compression(cnn,rnn)

distillation:papers:NIPS2014_DistillingtheKnowledgeinaNeuralNetwork_Hiton用一个大网络来教小网络学习.以100类的分类任务为例,之前给的

三枚目·2020-08-23 22:33

深度学习基础--不同网络种类--teacher-student网络,蒸馏(distillation)网络

teacher-student网络,蒸馏(distillation)网络属于迁移学习的一种。

whitenightwu·2020-08-23 08:40

微软透过知识蒸馏法改善多任务深度神经网络研究

微软研究院最近介绍了透过知识蒸馏法（distillation），来改善多任务深度神经网络（Multi-TaskDeepNeuralNetwork，MT-DNN）的研究，打造出更稳固且通用的自然语言理解模型

weixin_34233421·2020-08-23 08:05

知识蒸馏原来不是你想的那样子

https://blog.csdn.net/shi2xian2wei2/article/details/84570620代码地址https://github.com/PolarisShi/distillation

东方佑·2020-08-23 07:12

论文阅读 A Gift from Knowledge Distillation: Fast Optimization

2017年CVPR论文AGiftfromKnowledgeDistillation:FastOptimization,NetworkMinimizationandTransferLearning。论文地址：GitHub：摘要提出了将蒸馏的知识看作成一种解决问题的流，它是在不同层之间的feature通过内积计算得到的这个方法有三个好处：student网络可以学的更快student网络可以超过teac

鲸脊刀锋·2020-08-23 07:47

模型加速一:知识蒸馏(Knowledge Distillation)

一背景知识蒸馏（KD）是想将复杂模型（teacher）中的darkknowledge迁移到简单模型（student）中去，一般来说，teacher具有强大的能力和表现，而student则更为紧凑。通过知识蒸馏，希望student能尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。Hinton在DistillingtheKnowledgeinaNeuralNetwork中首

小小小读书匠·2020-08-23 06:33

论文笔记：A Gift from Knowledge Distillation

来源CVPR2017名词解释迁移学习迁移学习的效果与知识的表示是很相关的。BecauseaDNNusesmanylayerssequentiallytomapfromtheinputspacetotheoutputspace,theflowofsolvingaproblemcanbedefinedastherelationshipbetweenfeaturesfromtwolayers.Grami

deepindeed·2020-08-23 06:17

A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning论文初读

待墨痕干·2020-08-23 06:52

A Gift from Knowledge Distillation：Fast Optiization,Network Minimization and Transfer Learning

AGiftfromKnowledgeDistillation_FastOptiization,NetworkMinimizationandTransferLearning：本文提出以下观点：（1）从教师网络萃取知识不一定只从最后的softmax层这一层，还可以从多个层提取。结构如下：（2）将从教师网络学习到的知识用来对学生网络进行初始化，并在之后用主流的方法进行训练。算法如下。（3）因为FSP矩阵

蓝先生爱学习·2020-08-23 06:54

Knowledge Distillation(3)——A Gift from Knowledge Distillation

AGiftfromKnowledgeDistillation:FastOptimization,NetworkMinimizationandTransferLearning论文阅读概述Method训练过程总结概述上一篇博客中的FitNets，本文作者是这么分析的：作者打了个比方，对于人类，老师教学生做题时，一个中间的结果并不重要，我们更应该学习的是解题流程。这也是本文的核心idea，不拟合大模型的

judgechen1997·2020-08-23 06:32

Knowledge Distillation(8)——Learning Efficient Object Detection Models with Knowledge Distillation

LearningEfficientObjectDetectionModelswithKnowledgeDistillation概述MethodKnowledgeDistillationforClassificationwithImbalancedClassesKnowledgeDistillationforRegressionwithTeacherBoundsHintLearningwithFea

judgechen1997·2020-08-23 06:32

蒸馏法文章选读——Correlation Congruence for Knowledge Distillation

7,CorrelationCongruenceforKnowledgeDistillationhttps://arxiv.org/abs/1904.018021)，创新点：原始的蒸馏法只是用学生网络的某个向量去拟合教师网络的该向量，无论是kl散度还是欧式距离，只是向量之间的映射；但是由于教师网络和学生网络本来的差异性，所以不应该仅仅学习教师网络和学生网络单个样本向量间差异，还应该学习这两个样本间的

Eva_Hua·2020-08-23 04:04

a gift from knowledge distillation

看完没啥想法-就是改良一下中间层指导的过程，第二部分训练的时候没有用到softtarget。使用gram矩阵表示中间层-也不是一个很新的方法。最近翻译水平越来越垃圾啦==abstract我们介绍啦一个新的技术用来从一个预训练的深度神经网络迁移知识到另一个DNN。考虑到DNN通过一层一层的网络实现从输入空间到输出空间到匹配，我们定义蒸馏的知识以流的形式在层之间传播，这个流是通过计算两层之间的特征的内

江米江米·2020-08-23 04:59

IDN-Fast and Accurate Single Image Super-Resolution via Information Distillation Network信息蒸馏网络

FastandAccurateSingleImageSuper-ResolutionviaInformationDistillationNetworkCVPR2018github(caffe):https://github.com/Zheng222/IDN-Caffe网络结构以特征提取块、多个信息蒸馏块（progressivelydistillresidualinformation）和重建块组成，

俭任G·2020-08-22 04:44

(IDN 轻量化CVPR2018)Fast and Accurate Single Image Super-Resolution via Information Distillation N

文章地址：https://arxiv.org/abs/1909.11856v1作者的项目地址：https://github.com/Zheng222/IDN-Caffe论文作者：ZhengHui西安电子科技大学一：简单介绍文章做的是轻量化图像超分辨率。二、网络结构网络由三个部分构成：1、特征提取模块afeatureextractionblock(FBlock),2、多个堆叠的信息蒸馏块multip

叱咤风云666·2020-08-22 02:27

读论文：Fast and Accurate Single Image Super-Resolution via Information Distillation Network

文章全名：FastandAccurateSingleImageSuper-ResolutionviaInformationDistillationNetwork1网络结构（IDN）三部分：afeatureextractionblock(FBlock)特征提取块,multiplestackedinformationdistillationblocks(DBlocks)信息蒸馏块andareconst

什么都可晶·2020-08-22 00:30

知识蒸馏(Knowledge Distillation) 经典之作

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作:论文链接arxiv.orgKnowledgeDistillation，简称KD，顾名思义，就是将已经训练好的模型包含的知识(”Knowledge”)，蒸馏("Distill")提取到另一个模型里面去。今天，我们就来简单读一下这篇论文

Terry_dong·2020-08-19 20:12

CVPR2019|Structured Knowledge Distillation for Semantic Segmentation语义分割的结构知识蒸馏

Abstract本文研究了利用大型网络训练小型语义分割网络的知识蒸馏策略。我们从简单的像素式精馏方案开始,该方案应用于图像分类的精馏方案,并分别对每个像素进行知识精馏。我们进一步提出将结构化知识从大型网络提炼成小型网络,其动机是语义分割是一个结构化预测问题。我们研究两种结构化蒸馏方案:(i)对精馏,蒸馏成对的相似性,(ii)整体蒸馏,使用GAN提取整体知识。通过在雪铁龙、坎维德和ADE20K三个场

Woooooooooooooo·2020-08-19 07:23

深度学习论文笔记（rethinking knowledge distillation）——On the Efficacy of Knowledge Distillation

文章目录前言疑问：高准确率的大模型一定就是好teacher吗？问题二问题一可能的解决方案这篇文章非常有意思，本文文字部分较多，主要记录了个人对于文章的一些思考前言《OntheEfficacyofKnowledgeDistillation》于2019年发表在ICCV上。通过实验，作者发现了一个“怪相”，准确率越高的模型并不一定就是好的teacher模型，对于同一个student模型而言，teache

菜到怀疑人生·2020-08-17 22:55

图像语义分割论文解读（一）：Geometry-Aware Distillation for Indoor Semantic Segmentation

Geometry-AwareDistillationforIndoorSemanticSegmentation简述：本文提出在仍利用有用的深度域信息的情况下，通过提取几何感知嵌入来共同推断语义和深度信息，来消除现有方法（都需要精确的深度图作为分割场景的输入）的强约束。此外，提出了一种几何感知的传播框架，并在此基础上加入了多个多级跳变特征融合块，从而提高了语义分割的质量。通过将单个任务预测网络解耦为

Star·端木·2020-08-13 12:52

Knowledge Distillation via Route Constrained Optimization

Motivation已有的KD方法提升性能都是基于一个假设：teacher模型可以提供一种弱监督，且能被一个小student网络学习，但是实际上一个收敛的大网络表示空间很难被student学习，这会导致congruenceloss很高因此本文提出一种策略routeconstrainedoptimization，根据参数空间的route去选择teacher的参数，一步一步的指导student。Met

爆米花好美啊·2020-08-11 04:48

Tutorial: Knowledge Distillation

概述KnowledgeDistillation(KD)一般指利用一个大的teacher网络作为监督，帮助一个小的student网络进行学习，主要用于模型压缩。其方法主要分为两大类OutputDistillationFeatureDistillationOutputDistillationMotivation主要拉近teacher和student最终输出的距离，参考论文：DistillingtheK

爆米花好美啊·2020-08-11 04:48

推荐频道

distillation

模型压缩 —— 知识蒸馏（Knowledge Distillation）

模型压缩 | TIP 2022 - 蒸馏位置自适应：Spot-adaptive Knowledge Distillation

基于Knowledge Distillation的增量学习论文学习（之三）——iCaRL: Incremental Classifier and Representation Learning

知识蒸馏Knownledge Distillation

Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data, NeurIPS 2021

Focal and Global Knowledge Distillation for Detectors

知识蒸馏Knownledge Distillation

论文解读：Decoupled Knowledge Distillation

论文解读（IGSD）《Iterative Graph Self-Distillation》

小样本目标检测论文翻译总结 2021 CVPR Dense Relation Distillation with Context-aware Aggregation

用于异常检测的多分辨率知识蒸馏

Image Manipulation:StyleGAN2 Distillation for Feed-forward Image Manipulation(2020)

【Knowledge Distillation】知识蒸馏总结

Introspective Distillation for Robust Question Answering 论文笔记

【Lifelong learning】Lifelong Language Knowledge Distillation

Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation 论文笔记

推荐系统遇上深度学习(六十二)-[阿里]电商推荐中的特殊特征蒸馏

理解Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning

【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention

李宏毅作业七其二 Network Compression (Knowledge Distillation)

Knowledge Distillation论文阅读之：综述文章：Knowledge Distillation: A Survey（未完待续····）

(IMDN ACMM2019)轻量化Lightweight Image Super-Resolution with Information Multi-distillation Network

【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派

Sequence-Level Knowledge Distillation

知识蒸馏（Distillation）相关论文阅读（2）——Cross Model Distillation for Supervision Transfer

Similarity-Preserving Knowledge Distillation

MoonShine: Optimizing OS Fuzzer Seed Selection with Trace Distillation 论文阅读总结

车道线检测Learning Lightweight Lane Detection CNNs by Self Attention Distillation

[总结]神经网络・压缩 compression(cnn,rnn)

深度学习基础--不同网络种类--teacher-student网络,蒸馏(distillation)网络

微软透过知识蒸馏法改善多任务深度神经网络研究

知识蒸馏原来不是你想的那样子

论文阅读 A Gift from Knowledge Distillation: Fast Optimization

模型加速一:知识蒸馏(Knowledge Distillation)

论文笔记：A Gift from Knowledge Distillation

A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning论文初读

A Gift from Knowledge Distillation：Fast Optiization,Network Minimization and Transfer Learning

Knowledge Distillation(3)——A Gift from Knowledge Distillation

Knowledge Distillation(8)——Learning Efficient Object Detection Models with Knowledge Distillation

蒸馏法文章选读——Correlation Congruence for Knowledge Distillation

a gift from knowledge distillation

IDN-Fast and Accurate Single Image Super-Resolution via Information Distillation Network信息蒸馏网络

(IDN 轻量化CVPR2018)Fast and Accurate Single Image Super-Resolution via Information Distillation N

读论文：Fast and Accurate Single Image Super-Resolution via Information Distillation Network

知识蒸馏(Knowledge Distillation) 经典之作

CVPR2019|Structured Knowledge Distillation for Semantic Segmentation语义分割的结构知识蒸馏

深度学习论文笔记（rethinking knowledge distillation）——On the Efficacy of Knowledge Distillation

图像语义分割论文解读（一）：Geometry-Aware Distillation for Indoor Semantic Segmentation

Knowledge Distillation via Route Constrained Optimization

Tutorial: Knowledge Distillation