Distillation

2021 ICCV、CVPR 知识蒸馏相关论文

目录2021ICCV2021CVPR2021ICCVPerturbedSelf-Distillation:WeaklySupervisedLarge-ScalePointCloudSemanticSegmentation
Phoenixtree_DongZhao·2022-09-25 01:46

【论文笔记_自蒸馏_知识蒸馏_2022】Self-Distillation from the Last Mini-Batch for Consistency Regularization

摘要知识提炼（KD）作为一种强大的正则化策略，通过利用学到的样本级软目标来提高泛化能力，显示了光明的前景。然而，在现有的KD中采用复杂的预训练教师网络或同伴学生的集合，既耗时又耗费计算成本。为了实现更高的蒸馏效率，人们提出了许多自我KD方法。然而，它们要么需要额外的网络结构修改，要么难以并行化。为了应对这些挑战，我们提出了一个高效、可靠的自蒸馏框架，命名为“来自上一次小批量的自蒸馏”（DLB）。具
乱搭巴士·2022-09-25 01:57

【论文笔记_知识蒸馏_2019】Variational Information Distillation for Knowledge Transfer

摘要将在相同或类似任务上预训练的教师神经网络的知识转移到学生神经网络中，可以显著提高学生神经网络的性能。现有的知识转移方法与教师和学生网络的激活或相应的手工制作的特征相匹配。我们提出了一个知识转移的信息理论框架，该框架将知识转移表述为教师和学生网络之间相互信息的最大化。我们将我们的方法与现有的知识转移方法在知识提炼和转移学习任务上进行了比较，结果表明我们的方法一直优于现有的方法。我们通过在CIFA
乱搭巴士·2022-09-25 01:56

【论文翻译_无数据知识蒸馏_元学习_2022】Up to 100× Faster Data-free Knowledge Distillation

可以参考2021的另一篇解决相似问题的文章（Learning_Student_Networks_in_the_Wild）摘要data-free知识蒸馏（DFKD）由于其仅使用人造合成数据压缩模型的能力，近年来越来越受到研究界的关注。尽管取得了令人鼓舞的成果，但最先进的DFKD方法仍然存在数据合成效率低下的问题，这使得无数据训练过程非常耗时，因此不适用于大规模任务。在这项工作中，我们介绍了一种有效的
乱搭巴士·2022-09-25 01:52

《GhostNet: More Features from Cheap Operations》论文解读

常见的方法有模型剪枝(pruning)，量化(quantization)和蒸馏(distillation)。常规的CNN网络提取到的特征图有很多冗余信息，如下图，扳手连接的两个位置的特征图类似。
zhuikefeng·2022-09-15 14:32

Residual Feature Distillation Network for Lightweight Image Super-Resolution（AIM2020）轻质超分辨率的残差特征蒸馏

AIM2020-ESR冠军轻质图像超分辨率的残差特征蒸馏网代码：https://github.com/njulj/RFDN图像超分取得了极大的进展，尽管基于CNN的方法取得了极好的性能与视觉效果，但是这些模型难以部署到端侧设备(高计算量、高内存占用)。为解决上述问题，已有各种不同的快速而轻量型的CNN模型提出，IDN(InformationDistillationNetwork,IDN)是其中的佼
msy0330·2022-09-15 07:26

基于知识蒸馏Knowledge Distillation模型压缩pytorch实现

在弄懂原理基础上，从本篇博客开始，逐步介绍基于知识蒸馏的增量学习、模型压缩的代码实现。毕竟“纸上得来终觉浅，绝知此事要躬行。”。先从最经典的Hilton论文开始，先实现基于知识蒸馏的模型压缩。相关原理可以参考博客：https://blog.csdn.net/zhenyu_an/article/details/101646943，既然基本原理是用一个已训练的teacher网络，去教会一个studen
azy1988·2022-09-14 07:20

深度学习之知识蒸馏(Knowledge Distillation)

本文参考以下链接，如有侵权，联系删除论文参考引言知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。KnowledgeDistillation，简称KD，顾名思义，就是将已经训练好的模型包含的知识(”Knowledge”)，蒸馏(“Distill”)提取到另一个模型里面去。温度:我们都知道“蒸馏”需要在高温下进行，那么这个“蒸馏”的温度代表
专注于计算机视觉的AndyJiang·2022-09-14 07:31

论文阅读：CVPR2022 Wavelet Knowledge Distillation: Towards Efficient Image-to-Image Translation

任务：图像转换背景分析：生成对抗网络（GAN）在图像到图像的翻译中取得了显著成就。然而，由于参数量巨大，最先进的GAN通常存在效率低和内存使用量大的问题。为了应对这一挑战，本文首先从频率的角度研究了GAN的性能。结果表明，尤其是小型GAN，缺乏生成高质量高频信息的能力。为了解决这个问题，提出了一种新的知识蒸馏方法，称为小波知识蒸馏。小波知识蒸馏不是直接提取生成的教师图像，而是首先通过离散小波变换将
_击空明兮溯流光_·2022-09-04 07:58

万字综述 | 一文读懂知识蒸馏

Response-BasedKnowledgeFeature-BasedKnowledgeRelation-BasedKnowledge蒸馏离线蒸馏（OfflineDistillation）在线蒸馏（OnlineDistillation）自我蒸馏（Self-Distillation
AI异构·2022-09-03 15:29

模型压缩 —— 知识蒸馏（Knowledge Distillation）

https://zhuanlan.zhihu.com/p/81467832在深度学习的背景下，为了达到更好的预测，常常会有两种方案：1.使用过参数化的深度神经网络，这类网络学习能力非常强，因此往往加上一定的正则化策略(如dropout)；2.集成模型(ensemble)，将许多弱的模型集成起来，往往可以实现较好的预测。这两种方案需要的计算量和计算资源很大，对部署非常不利。这也就是模型压缩的动机：我
rainbow_lucky0106·2022-08-13 07:53

模型压缩 | TIP 2022 - 蒸馏位置自适应：Spot-adaptive Knowledge Distillation

TIP2022-蒸馏位置自适应：Spot-adaptiveKnowledgeDistillation本文已授权极市平台,并首发于极市平台公众号.未经允许不得二次转载.原始语雀文档：https://www.yuque.com/lart/gw5mta/vhbggb论文：https://arxiv.org/abs/2205.02399代码：https://github.com/zju-vipa/spot
有为少年·2022-08-13 07:43

基于Knowledge Distillation的增量学习论文学习（之三）——iCaRL: Incremental Classifier and Representation Learning

这是CVPR2017的一篇论文，发表以后一直作为IL的一个基准方法被引用。作者对增量学习的观点包括如下三点：（1）增量算法可以训练不同时间出现的新数据；（2）增量算法需在旧数据集中表现良好，即可以完美解决“灾难遗忘”问题；（3）计算能力与内存应该随着类别数的增加固定或者缓慢增量。乍看下来，与LwF算法没有太大区别，但因为第（3）条的存在，给作者开了一个口子，即可以存储一部分旧数据，参与增量训练。具
azy1988·2022-06-11 07:14

知识蒸馏Knownledge Distillation

知识蒸馏源自Hintonetal.于2014年发表在NIPS的一篇文章：DistillingtheKnowledgeinaNeuralNetwork。1.背景一般情况下，我们在训练模型的时候使用了大量训练数据和计算资源来提取知识，但这不方便在工业中部署，原因有二：（1）大模型推理速度慢（2）对设备的资源要求高（大内存）因此我们希望对训练好的模型进行压缩，在保证推理效果的前提下减小模型的体量，知识蒸
一位学有余力的同学·2022-05-21 10:10

Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data, NeurIPS 2021

motivationSTARTUP(ICLR2021)中提出基于self-training的思想用targetdomain的去标记数据联合训练模型。但STARTUP中使用在baseclasses上预先训练得到的网络，为未标记的目标样本创建软标签。域间差异较大时，使用固定的预训练模型将目标图像投影到基数据集的类域中可能是次优的。本文的问题设置和STARTUP中是一致的：带标签的源域样本+去标签的目标
RitaRao·2022-05-21 07:09

Focal and Global Knowledge Distillation for Detectors

一.概述论文地址：链接代码地址：链接论文简介：此篇论文是在CGNet上增加部分限制loss而来核心部分是将gt框变为mask进行蒸馏注释：仅为阅读论文和代码，未进行试验，如有漏错请不吝指出。文章的疑惑和假设仅代表个人想法。二.详细2.1FocalDistillation2.
影醉阏轩窗·2022-05-10 10:00

知识蒸馏Knownledge Distillation

知识蒸馏源自Hintonetal.于2014年发表在NIPS的一篇文章：DistillingtheKnowledgeinaNeuralNetwork。1.背景一般情况下，我们在训练模型的时候使用了大量训练数据和计算资源来提取知识，但这不方便在工业中部署，原因有二：（1）大模型推理速度慢（2）对设备的资源要求高（大内存）因此我们希望对训练好的模型进行压缩，在保证推理效果的前提下减小模型的体量，知识蒸
Pr4da·2022-05-07 16:28

论文解读：Decoupled Knowledge Distillation

1.论文基本信息论文：DecoupledKnowledgeDistillation地址：https://arxiv.org/pdf/2203.08679.pdf代码：https://github.com/megvii-research/mdistiller2.背景与摘要知识蒸馏花样繁多，在有教师模型的基础上，知识蒸馏可以从response、relation、feature等角度进行研究，设计los
littletomatodonkey·2022-05-06 07:17

论文解读（IGSD）《Iterative Graph Self-Distillation》

论文信息论文标题：IterativeGraphSelf-Distillation论文作者：HanlinZhang,ShuaiLin,WeiyangLiu,PanZhou,JianTang,XiaodanLiang
Learner-·2022-04-28 11:00

小样本目标检测论文翻译总结 2021 CVPR Dense Relation Distillation with Context-aware Aggregation

DenseRelationDistillationwithContext-awareAggregationforFew-ShotObjectDetectionAbstractConventionaldeeplearningbasedmethodsforobjectdetectionrequirealargeamountofboundingboxannotationsfortraining,whic
星 ♚ 城·2022-03-18 07:29

用于异常检测的多分辨率知识蒸馏

论文地址：https://arxiv.org/pdf/2011.11108.pdf官方代码：https://github.com/Niousha12/Knowledge_Distillation_AD自实现代码
Hibiki阿杰·2022-03-16 19:47

Image Manipulation:StyleGAN2 Distillation for Feed-forward Image Manipulation(2020)

StyleGAN2DistillationforFeed-forwardImageManipulationstylegan2-distillation摘要StyleGAN2是用于生成逼真的图像的先进网络
studyeboy·2022-03-15 07:53

【Knowledge Distillation】知识蒸馏总结

KnowledgeDistillation背景知识蒸馏（KD）是想将复杂模型（teacher）中的darkknowledge迁移到简单模型（student）中去，一般来说，teacher具有强大的能力和表现，而student则更为紧凑。通过知识蒸馏，希望student能尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。Hinton在DistillingtheKnowled
Gaoyt__·2022-02-20 04:54

Introspective Distillation for Robust Question Answering 论文笔记

IntrospectiveDistillationforRobustQuestionAnswering论文笔记一、Abstract二、引言三、Relatedwork3.1视觉问答3.2ExtractiveQuestionAnswering3.3Ensemble-basedmethodsfordebiasing3.4KnowledgeDistillation四、内省蒸馏4.1ID-Teacheran
乄洛尘·2021-12-05 16:58

【Lifelong learning】Lifelong Language Knowledge Distillation

链接：http://arxiv.org/abs/2010.02123简介LifelongLanguageKnowledgeDistillation终身语言知识提炼，是一种利用知识蒸馏的终身学习方法。其主要思想是：每次遇到新任务时，不直接让model去学习，而是先在任务上训练一个teachermodel，然后运用知识蒸馏技术，将知识传递给model。知识蒸馏：有两个模型：studentmodel（小
Baigker·2021-12-02 16:33

Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation 论文笔记

  本文提出使用使用联邦蒸馏（federateddistillationFD）和联邦增强（federatedaugmentationFAug）来解决联邦学习中客户端数据非独立同分布和客户端之间通讯开销大的问题。论文地址：Communication-EfficientOn-DeviceMachineLearning:FederatedDistillationandAugmentationunderN
Zoran_卓·2021-05-20 20:13

推荐系统遇上深度学习(六十二)-[阿里]电商推荐中的特殊特征蒸馏

context=cs.IR说说题目吧，先讲讲蒸馏（Distillation）的概念，我们知道模型最终都要应用于线上，如果太过复杂的模型会导致性能无法保证，往往会应用一个比较简单的模
文哥的学习日记·2021-04-30 04:59

理解Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning

理解TowardsUnderstandingEnsemble,KnowledgeDistillationandSelf-DistillationinDeepLearning深度学习中的三个神秘之处神经网络集成vs特征图集成集成vs减少单个模型的误差多视图数据：新方法去证明深度学习中的集成知识蒸馏：让单个模型去学习多个视图自蒸馏：隐式地结合集成和知识蒸馏总结Reference注：本文转载自：学术头条
MasterQKK 被注册·2021-02-18 14:59

【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention

本文主要对Facebook最近提出来的DeiT模型进行阅读分析。一、动机：DeiT解决什么问题？现有的基于Transformer的分类模型ViT需要在海量数据上（JFT-300M，3亿张图片）进行预训练，再在ImageNet数据集上进行fune-tuning，才能达到与CNN方法相当的性能，这需要非常大量的计算资源，这限制了ViT方法的进一步应用。Data-efficientimagetransf
一的千分之一·2021-01-30 18:50

李宏毅作业七其二 Network Compression (Knowledge Distillation)

NetworkCompression——KnowledgeDistillation前言一、knowledgedistillation是什么？1.原理2.KL散度3.Readme二、网络模型代码1.加载数据集，定义环境2.定义KL散度3.数据处理4.预处理5.开始训练前言知识蒸馏，实质上就是用训练好的网络告诉没训练的网络如何学习。一、knowledgedistillation是什么？1.原理知识蒸馏
闲看庭前雪·2020-11-05 14:36

Knowledge Distillation论文阅读之：综述文章：Knowledge Distillation: A Survey（未完待续····）

只挑重点的说，不是翻译论文文章目录Abstract1.Introduction2.Background3.Knowledge3.1Response-baseKnowledge3.2Feature-BasedKnowledge3.3Relation-BasedKnowledgeAbstract本问提供了KD的复杂研究包括了下述方面：KD的种类训练方案teacher-student结构蒸馏算法表现对比
暖仔会飞·2020-11-04 18:17

(IMDN ACMM2019)轻量化Lightweight Image Super-Resolution with Information Multi-distillation Network

https://arxiv.org/pdf/1909.11856.pdf作者的项目地址：代码论文作者：ZhengHui西安电子科技大学一、简单介绍受IDN（CVPR2018）的的启发，文章提出了Multi-distillation
叱咤风云666·2020-09-13 05:31

【李宏毅2020 ML/DL】P51 Network Compression - Knowledge Distillation | 知识蒸馏两大流派

我已经有两年ML经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。已经有人记了笔记（很用心，强烈推荐）：https://github.com/Sakura-gh/ML-notes本节内容综述本节课由助教ArvinLiu补充一些前沿的技术，李老师讲的，其实有些老了。首先复习模型压缩的四个流派。Whylearn'emall?Mixit!助教举了一个混合的例子。接下来进入本节课正题，讲
PiperNest (同公众号)·2020-09-11 23:07

Sequence-Level Knowledge Distillation

《Sequence-LevelKnowledgeDistillation》序列级别的知识提炼一、大纲这篇论文主要讲的是模型压缩，也就是训练一个简单的网络来代替已有的复杂的网络，训练的目标两个网络的交叉熵最小（两个网络的效果相近）和简单网络的负对数似然最小（网络的效果好）。二、Word-Level描述：TeacherNetwork和StudentNetwork分别训练处没个词的概率分布（向量维度为词
可乐司机·2020-09-11 21:01

知识蒸馏（Distillation）相关论文阅读（2）——Cross Model Distillation for Supervision Transfer

知识蒸馏相关论文目录导读：GeoffryHinton——DistillingtheknowledgeinaneuralnetworkSaurabhGupta——CrossModelDistillationforSupervisionTransferAdrianaRomero——HintsforThinDeepNets—————————————————————————————————————————
每天都要深度学习·2020-09-11 21:53

Similarity-Preserving Knowledge Distillation

Motivation下图可以发现，语义相似的输入会产生相似的激活。这个非常好理解，这个C维的特征向量可以代表该输入的信息因此本文根据该观察提出了一个新的蒸馏loss，即一对输入送到teacher中产生的特征向量很相似，那么送到student中产生的特征向量也应该很相似，反义不相似的话同样在student也应该不相似。该loss被称为Similarity-preserving，这样student不用
爆米花好美啊·2020-09-11 21:14

MoonShine: Optimizing OS Fuzzer Seed Selection with Trace Distillation 论文阅读总结

本文发表于UsenixSecurity2018，作者：ShankaraPailoor，AndrewAday，SumanJana。三位作者均来自于ColumbiaUniversity。1.IntroductionOSFuzzer是一种主要在操作系统内核与用户态程序间利用system-call进行安全漏洞挖掘的工具。现有Fuzzer的效率主要依赖种子程序中system-call序列的高质量与多样性，但
RainyD4y·2020-09-11 00:40

车道线检测Learning Lightweight Lane Detection CNNs by Self Attention Distillation

LearningLightweightLaneDetectionCNNsbySelfAttentionDistillation2019ICCV摘要由于车道标注中固有的非常稀疏的监控信号，训练车道检测的深度模型是一个挑战。没有从更丰富的环境中学习，这些模型往往在具有挑战性的场景中失败，例如，严重的遮挡、模糊的车道和糟糕的照明条件。本文提出了一种新的知识蒸馏方法，即自我注意力蒸馏（selfattent
yours13·2020-08-24 01:40

[总结]神经网络・压缩 compression(cnn,rnn)

distillation:papers:NIPS2014_DistillingtheKnowledgeinaNeuralNetwork_Hiton用一个大网络来教小网络学习.以100类的分类任务为例,之前给的
三枚目·2020-08-23 22:33

深度学习基础--不同网络种类--teacher-student网络,蒸馏(distillation)网络

teacher-student网络,蒸馏(distillation)网络  属于迁移学习的一种。
whitenightwu·2020-08-23 08:40

微软透过知识蒸馏法改善多任务深度神经网络研究

微软研究院最近介绍了透过知识蒸馏法（distillation），来改善多任务深度神经网络（Multi-TaskDeepNeuralNetwork，MT-DNN）的研究，打造出更稳固且通用的自然语言理解模型
weixin_34233421·2020-08-23 08:05

知识蒸馏原来不是你想的那样子

https://blog.csdn.net/shi2xian2wei2/article/details/84570620代码地址https://github.com/PolarisShi/distillation
东方佑·2020-08-23 07:12

论文阅读 A Gift from Knowledge Distillation: Fast Optimization

2017年CVPR论文AGiftfromKnowledgeDistillation:FastOptimization,NetworkMinimizationandTransferLearning。论文地址：GitHub：摘要提出了将蒸馏的知识看作成一种解决问题的流，它是在不同层之间的feature通过内积计算得到的这个方法有三个好处：student网络可以学的更快student网络可以超过teac
鲸脊刀锋·2020-08-23 07:47

模型加速一:知识蒸馏(Knowledge Distillation)

一背景知识蒸馏（KD）是想将复杂模型（teacher）中的darkknowledge迁移到简单模型（student）中去，一般来说，teacher具有强大的能力和表现，而student则更为紧凑。通过知识蒸馏，希望student能尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。Hinton在DistillingtheKnowledgeinaNeuralNetwork中首
小小小读书匠·2020-08-23 06:33

论文笔记：A Gift from Knowledge Distillation

来源CVPR2017名词解释迁移学习迁移学习的效果与知识的表示是很相关的。BecauseaDNNusesmanylayerssequentiallytomapfromtheinputspacetotheoutputspace,theflowofsolvingaproblemcanbedefinedastherelationshipbetweenfeaturesfromtwolayers.Grami
deepindeed·2020-08-23 06:17

A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning论文初读

目录摘要引言相关工作知识迁移快速优化迁移学习方法提出观点数学表达式FSPMatrix的损失学习步骤实验快速优化性能的提升迁移学习结论摘要提出了将蒸馏的知识看作成一种解决问题的流，它是在不同层之间的feature通过内积计算得到的这个方法有三个好处：student网络可以学的更快student网络可以超过teacher网路的性能可以适用于迁移学习（teacher和student属于不同的任务）引言之
待墨痕干·2020-08-23 06:52

A Gift from Knowledge Distillation：Fast Optiization,Network Minimization and Transfer Learning

AGiftfromKnowledgeDistillation_FastOptiization,NetworkMinimizationandTransferLearning：本文提出以下观点：（1）从教师网络萃取知识不一定只从最后的softmax层这一层，还可以从多个层提取。结构如下：（2）将从教师网络学习到的知识用来对学生网络进行初始化，并在之后用主流的方法进行训练。算法如下。（3）因为FSP矩阵
蓝先生爱学习·2020-08-23 06:54

Knowledge Distillation(3)——A Gift from Knowledge Distillation

AGiftfromKnowledgeDistillation:FastOptimization,NetworkMinimizationandTransferLearning论文阅读概述Method训练过程总结概述上一篇博客中的FitNets，本文作者是这么分析的：作者打了个比方，对于人类，老师教学生做题时，一个中间的结果并不重要，我们更应该学习的是解题流程。这也是本文的核心idea，不拟合大模型的
judgechen1997·2020-08-23 06:32

Knowledge Distillation(8)——Learning Efficient Object Detection Models with Knowledge Distillation

LearningEfficientObjectDetectionModelswithKnowledgeDistillation概述MethodKnowledgeDistillationforClassificationwithImbalancedClassesKnowledgeDistillationforRegressionwithTeacherBoundsHintLearningwithFea
judgechen1997·2020-08-23 06:32

蒸馏法文章选读——Correlation Congruence for Knowledge Distillation

7,CorrelationCongruenceforKnowledgeDistillationhttps://arxiv.org/abs/1904.018021)，创新点：原始的蒸馏法只是用学生网络的某个向量去拟合教师网络的该向量，无论是kl散度还是欧式距离，只是向量之间的映射；但是由于教师网络和学生网络本来的差异性，所以不应该仅仅学习教师网络和学生网络单个样本向量间差异，还应该学习这两个样本间的
Eva_Hua·2020-08-23 04:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他