Distillation 第3页

[FGD] Focal and Global Knowledge Distillation for detectors (CVPR. 2022)

1.Motivation本文作者指出，在目标检测中，tea和stu之间的特征在不同的区域例如前后景的差别是比较大的。Inthispaper,wepointoutthatinobjectdetection,thefeaturesoftheteacherandstudentvarygreatlyindifferentareas,especiallyinthefore-groundandbackgrou

Ah丶Weii·2023-01-31 15:15

CVPR21 Semantic-aware Knowledge Distillation for FSCIL

小样本增量学习之语义敏感的知识蒸馏1.任务背景1.1增量学习1.2基于知识蒸馏的增量学习2.方法2.1基于知识蒸馏的增量学习2.2小样本任务的多个嵌入2.3模型概述3.总结4.参考文献论文亮点：在知识蒸馏中引入语义信息（NLP中的词向量），完成FSCIL中对旧知识的保存。故事脉络：增量学习的挑战是对旧知识的遗忘和对新知识的过拟合。小样本增量学习的挑战更大，因为新类数据量少，更容易过拟合在这几个样本

一亩高粱·2023-01-29 10:46

2023 Curriculum Temperature for Knowledge Distillation

论文地址：https://arxiv.org/abs/2211.16231代码地址：https://github.com/zhengli97/CTKD1研究动机与研究思路研究动机：大多数现有的蒸馏方法忽略了温度在损失函数中的灵活作用，将其固定为超参数。一般而言，温度控制着两种分布之间的差异，确定蒸馏任务的难易程度。保持一个恒定的温度，即固定的任务难度，在渐进学习阶段通常是次优的。研究思路：本文提出

谷子君·2023-01-28 15:27

神经网络的知识蒸馏

DistillingtheKnowledgeinaNeuralNetwork目录总结一、Introduction二、Distillation三、Demo1.Teacher2.Student3.KD4.完整代码参考

前世忘语·2023-01-28 08:15

基于蒸馏（distillation loss）的自监督学习算法

今天给大家介绍一篇CVPR2021关于自监督的文章叫S2-BNN[1]，来自CMU，HKUST和IIAI。它探讨了如果网络规模在非常小的情况下（比如efficientnetworks或者binaryneuralnetworks），什么样的自监督训练策略和方法是最好的。本文发现基于小网络的前提下，基于蒸馏（distillationlearning）的自监督学习得到的模型性能远远强于对比学习（cont

PaperWeekly·2023-01-21 12:32

知识蒸馏（Knowledge Distillation）

1、DistillingtheKnowledgeinaNeuralNetworkHinton的文章"DistillingtheKnowledgeinaNeuralNetwork"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teachernetwork：复杂、但推理性能优越）相关的软目标（soft-target）作为totalloss的一部分，以诱导学生网络（studentnetwo

迷路在代码中·2023-01-16 15:48

Knowledge Distillation(KD) 知识蒸馏 Pytorch实现

简单实现，主要为了理解其原理importtorchimporttorch.nnasnnimportnumpyasnpfromtorch.nnimportCrossEntropyLossfromtorch.utils.dataimportTensorDataset,DataLoader,SequentialSamplerclassmodel(nn.Module):def__init__(self,i

hxxjxw·2023-01-16 15:48

【论文笔记_在线蒸馏、GAN】Online Multi-Granularity Distillation for GAN Compression

2021年。摘要生成性对抗网络（GAN）在生成优秀图像方面取得了巨大的成功，但是，由于计算成本高，内存使用量大，在资源有限的设备上部署GAN非常困难。尽管最近压缩GAN的努力取得了显著的成果，但它们仍然存在潜在的模型冗余，可以进一步压缩。为了解决这个问题，我们提出了一种新的在线多粒度蒸馏（OMGD）方案来获得轻量级的GAN，这有助于以较低的计算需求生成高保真图像。我们首次尝试将单级在线蒸馏推广到面

乱搭巴士·2023-01-16 11:04

【论文速递】TPAMI2022 - 自蒸馏：迈向高效紧凑的神经网络

【论文速递】TPAMI2022-自蒸馏：迈向高效紧凑的神经网络【论文原文】：Self-Distillation:TowardsEfficientandCompactNeuralNetworks获取地址：

長__安·2023-01-16 10:56

解耦知识蒸馏（Decoupled Knowledge Distillation，DKD）论文解读

论文简介：1、为了提供研究logit蒸馏的新观点，本文将经典的KD损失重新表述为两个部分，即目标类知识蒸馏（TCKD）和非目标类知识精馏（NCKD）。2、TCKD传递了关于训练样本“难度”的知识，而NCKD是logit蒸馏工作的突出原因。3、揭示了经典KD损失是一个耦合公式，既抑制了NCKD的有效性，又限制了平衡这两个部分的灵活性。因此本文提出了解耦知识蒸馏（DKD），使TCKD和NCKD能够更有

一瞬にして失う·2023-01-16 06:45

论文翻译《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》

论文地址：https://arxiv.org/abs/2103.17115代码地址：https://github.com/hzhupku/DCNet目录Abstract1.Introduction2.RelatedWork2.1.GeneralObjectDetection2.2.Few-ShotLearning2.3.Few-ShotObjectDetection3.Method3.1.Prel

薛铁钢·2023-01-16 04:19

＜Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation＞论文阅读

论文链接：论文论文简介：这是一篇CVPR2018的论文，主要针对的是VisualRelationshipDetection任务。论文主要利用谓词及对之间的强相关性(strongcorrelations)来推断谓词。同样由于这个原因，联合建模比独立建模更能准确地反映三个实体之间的关系，但是由于视觉关系的语义空间巨大(种类过多)，训练数据有限，这会使得学习变得复杂。为了解决这个问题，论文利用语言统计学

以天为尊，化灵成神·2023-01-13 16:35

[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

目录Method1.结果蒸馏——分类2.结果蒸馏——回归3.特征蒸馏实验结果总结Method将知识蒸馏用在检测方向最大的问题就是前景和背景的类别不均衡问题。感觉就是很常规的思路，蒸特征+蒸输出，具体是在Faster-RCNN上做。其中蒸特征是使用的FitNet的方法在backbone做，在RPN和分类回归网络(RCN)部分蒸输出，两个部分都同时做分类和回归蒸馏。分类是做了一个weighted交叉熵

机器就不学习·2023-01-12 13:34

[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记

动机认为目标检测知识蒸馏效果不好的问题出在两个地方。1.前背景像素比例不平衡问题。提出了基于注意力引导的提取方法，利用==注意机制(而非gt)找到前景物体的关键像素点==，使学生更加努力地学习前景物体的特征。具体做法是在backbone处，利用attention生成一个fine-grainedmask而非二值mask，并且生成的mask包含空间maskMs∈RH,W和通道maskMc∈Rc两个部分

机器就不学习·2023-01-12 13:34

【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation

通过对立知识蒸馏压缩深度图神经网络摘要深度图神经网络(GNNs)已被证明对图结构数据的建模具有表达能力。然而，深度图模型的过度堆积的体系结构使得在移动或嵌入式系统上部署和快速测试变得困难。为了压缩过度堆积的广义神经网络，通过师生架构进行知识提炼是一种有效的技术，其中关键步骤是用预定义的距离函数来度量教师和学生网络之间的差异。然而，对各种结构的图使用相同的距离可能是不合适的，并且最佳距离公式很难确定

乱搭巴士·2023-01-12 13:33

【论文笔记_知识蒸馏_2022】Spot-adaptive Knowledge Distillation

点自适应知识蒸馏摘要知识提取(KD)已经成为压缩深度神经网络的一个良好建立的范例。进行知识提炼的典型方式是在教师网络的监督下训练学生网络，以利用教师网络中一个或多个点(即，层)的知识。蒸馏点一旦指定，在整个蒸馏过程中，所有训练样本的蒸馏点都不会改变。在这项工作中，我们认为蒸馏点应该适应训练样本和蒸馏时期。因此，我们提出了一种新的提取策略，称为点自适应KD(SAKD),在整个提取周期的每次训练迭代中

乱搭巴士·2023-01-12 13:03

【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher

来自一个更强的教师的知识蒸馏摘要不同于现有的知识提取方法侧重于基线设置，其中教师模型和培训策略不如最先进的方法强大和有竞争力，本文提出了一种称为DIST的方法，以从更强的教师中提取更好的知识。我们从经验上发现，学生和更强的老师之间的预测差异可能会相当严重。因此，KL散度预测的精确匹配将干扰训练，并使现有方法表现不佳。在本文中，我们证明了简单地保持教师和学生的预测之间的关系就足够了，并提出了一种基于

乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida

摘要我们提出了一种基于深度神经网络的新型类增量学习方法，该方法在有限的内存中不断学习新的任务，用于存储以前任务中的例子。我们的算法以知识提炼为基础，提供了一种原则性的方法来保持旧模型的表征，同时有效地调整到新任务。所提出的方法估计了模型更新所产生的表征变化和损失增加之间的关系。它利用表征最小化了损失增加的上界，这利用了骨干模型内每个特征图的估计重要性。基于重要性，该模型限制重要特征的更新以获得稳健

乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏】Adaptive multi-teacher multi-level knowledge distillation

2020年的论文。摘要知识提炼（KD）是一种有效的学习范式，通过利用从教师网络中提炼的额外监督知识来提高轻量级学生网络的性能。大多数开创性研究要么在学习方法上只向一名教师学习，忽视了一名学生可以同时向多名教师学习的潜力，要么简单地将每位教师视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多级知识提炼学习框架（AMTML-KD），这包括两个新的见解：

乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏】Interactive Knowledge Distillation for image classification

摘要知识提炼（KD）是一个标准的师生学习框架，在训练有素的大型教师网络的指导下，培养一个轻量级的学生网络。互动教学作为一种有效的教学策略，在学校得到了广泛的应用，以激发学生的学习动机。在互动教学中，教师不仅提供知识，而且对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了交互式知识提炼（IAKD）来利用交互式教学策略进行有效的知识提炼。在提取过程中，教师网络和学生网络之间的

乱搭巴士·2023-01-12 13:32

【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization

代码地址：https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation摘要知识提炼（KD）旨在将繁琐的教师模型中的知识提炼为轻量级的学生模型

乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION

代码地址:https://github.com/jingyang2017/KD_SRRL摘要本文通过知识提炼解决了模型压缩的问题。我们主张采用一种优化学生网络倒数第二层的输出特征的方法，因此与表征学习直接相关。为此，我们首先提出了一种直接的特征匹配方法，它只关注优化学生的倒数第二层。其次，更重要的是，由于特征匹配没有考虑到手头的分类问题，我们提出了第二种方法，将表征学习和分类解耦，利用教师的预训练

乱搭巴士·2023-01-12 13:32

Feature-map-level Online Adversarial Knowledge Distillation论文笔记

Feature-map-levelOnlineAdversarialKnowledgeDistillation论文笔记论文地址：https://arxiv.org/abs/2002.01775v1github地址：未公布MotivationFeaturemaps中包含丰富的空间相关性等图像信息，但是在分类任务上，过去的onlineKnowledgeDistillation只利用了类别概率来进行学习

hankeryeah·2023-01-12 13:01

Channel-wise Knowledge Distillation for Dense Prediction阅读笔记

Channel-wiseKD阅读笔记(一)Title(二)Summary(三)ResearchObject(四)ProblemStatement(五)Method5.1spatialdistillation5.2Channel-wiseDistillation(六)Experiments6.1实验设置6.2和最近knowledgeDistillation方法相比6.3消融实验6.4目标检测任务(七

不知道叫啥好一点·2023-01-12 13:31

2020知识蒸馏《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》论文笔记

论文笔记《ChannelDistillation:Channel-WiseAttentionforKnowledgeDistillation》摘要问题1.ChannelDistillation(CD)渠道蒸馏2.GuidedKnowledgeDistillation(GKD)知识引导蒸馏3.EarlyDecayTeacher(EDT)早期教师的衰减4.损失函数实验论文地址：ChannelDis

星竹紫兰·2023-01-12 13:31

知识蒸馏 Knowledge distillation（学习笔记）

知识蒸馏概述蒸馏：把大的复杂的东西变成小的纯净的东西在知识蒸馏中大的模型为教师模型（teacher）臃肿集成牛逼复杂的小的为学生模型（student）小的精干的轻量化的这里有一个知识的迁移因为落地实现的终端边缘设备的算计十分有限所以急需将一个大的优秀的模型压缩成一个小巧精干的轻量化模型这张图它背后的含义是预训练的大模型的增长速率时很恐怖的比摩尔定律还大而我们小设备的算力提升是很受限的，所以这个知识

：）�东东要拼命·2023-01-12 13:00

知识蒸馏论文翻译（5）—— Feature Normalized Knowledge Distillation for Image Classification（图像分类）

知识蒸馏论文翻译（5）——FeatureNormalizedKnowledgeDistillationforImageClassification（图像分类）用于图像分类的特征归一化知识蒸馏文章目录知识蒸馏论文翻译（5）——FeatureNormalizedKnowledgeDistillationforImageClassification（图像分类）摘要一、介绍二、相关工作三、方法3.1One

~拾捌~·2023-01-12 09:49

Learning Student-Friendly Teacher Networks for Knowledge Distillation论文阅读

本篇论文来自2021年NeurIPS，论文地址点这里一.介绍知识蒸馏是一种著名的技术，用于学习具有竞争性精度的紧凑深度神经网络模型，其中较小的网络(学生)被训练来模拟较大网络(教师)的表示。知识蒸馏的普及主要是由于它的简单性和通用性;根据教师学习学生模型是很简单的，并且对两个模型的网络架构没有限制。大多数方法的主要目标是在预先定义和预先训练的教师网络下，如何有效地将暗知识转移到学生模型中。虽然知识

编程龙·2023-01-10 19:48

Distillation-guided Image Inpainting 论文阅读笔记

这是ICCV的文章，但我只是随便读一下，记录一些可能以后会参考的机制网络结构图如下：主要就是用了两个网络，参考了知识蒸馏中教师-学生网络的方式，用完整图像encoder-decoder重建过程中的特征图来监督inpainting过程，我觉得这个过程非常有参考价值，可以用到很多其它领域。第二个重点就是网络的监督形式。网络采取两种蒸馏监督，一种是上面的修复网络利用自身后面的特征来监督前面的特征；一种是

sysu_first_yasuo·2023-01-10 15:18

Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

Self-KnowledgeDistillation:ASimpleWayforBetterGeneralization论文阅读这是一篇2020年6月挂载arxiv上的论文，目前还处于underreview。这篇论文从正则化方法可以提高网络的泛化能力这一点出发，提出了一个简单且有效的正则化方法——Self-KD，即自知识蒸馏。从作者所做的一系列实验可以看出来，Self-KD不仅在提高精度上面起到

PyBigStar·2023-01-10 11:19

PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefﬁcient阅读笔记

(一)Title论文地址:https://arxiv.org/abs/2207.02039(二)Summary研究背景：在目标检测任务中KD发挥着压缩模型的作用，但是对于heterogeneousdetectors(异构)之间的蒸馏仍然lackofstudy。本文的主要工作来自异构教师的FPNfeature能够帮助具有不同detecthead和labelassignment方式的学生.这里给我的感

不知道叫啥好一点·2023-01-10 11:16

FedMD: Heterogenous Federated Learning via Model Distillation论文笔记

本文提出使用迁移学习和知识蒸馏开发了一个联邦学习框架FedMD，此框架允许不同的客户端根据其计算能力设计不同的网络结构，并且保护数据集的隐私安全和模型的隐私安全条件下联合训练出一个模型。论文地址：FedMD:HeterogenousFederatedLearningviaModelDistillation2019NIPS算法细节本文设有一个共享数据集D0D_{0}D0，每个客户端有本地的数据集

Zoran_卓·2023-01-10 11:41

【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

【AAAI2021】零样本知识蒸馏：Data-FreeKnowledgeDistillationwithSoftTargetedTransferSetSynthesis论文地址：主要问题：主要思路：主要贡献：具体实现：基本符号：具有多元正态分布的特征空间建模：软目标标签生成：样本生成：基于伪样本的知识蒸馏：实验结果：联系作者：我的公众号：论文地址：https://arxiv.org/abs/210

BIT可达鸭·2023-01-10 11:41

Knowledge Distillation论文阅读之（1）：Structured Knowledge Distillation for Semantic Segmentation

文章目录abstractIntroductionRelatedWorksemanticsegmentation（语义分割方面）Knowledgedistillation（知识蒸馏方面）Adversariallearning（对抗学习方面）Approach3.1StructuredKnowledgeDistillation（结构化的知识蒸馏）3.2Optimization（优化）abstract这篇

暖仔会飞·2023-01-10 11:10

Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation

EffectivenessofArbitraryTransferSetsforData-freeKnowledgeDistillation我们研究任何任意转移集对知识提炼任务的有效性，尽管它与原始训练数据无关。如果证明是有效的，这样的数据集实际上可以用来设计重要的、通常是强大的KD任务的基线，同时为我们节省了现有的无数据蒸馏方法所产生的合成转移集的大量开销。这对于文本/图像领域尤其如此，因为在该领

weixin_37958272·2023-01-10 11:10

Contrastive Model Inversion for Data-Free Knowledge Distillation

ContrastiveModelInversionforData-FreeKnowledgeDistillation模型反演的目标是从预先训练好的模型中恢复训练数据，最近已被证明是可行的。然而，现有的反转方法通常存在模式崩溃问题，即合成的实例彼此高度相似，因此对下游任务（如知识提炼）的有效性有限。在本文中，我们提出了对比性模型反演（CMI），其中数据多样性被明确地建模为一个可优化的目标，以缓解模式

weixin_37958272·2023-01-10 11:10

【WACV 2021】零样本目标检测知识蒸馏：Data-free Knowledge Distillation for Object Detection

【WACV2021】零样本目标检测知识蒸馏：Data-freeKnowledgeDistillationforObjectDetection论文地址：主要问题：主要思路：具体实现：数据生成：边框采样：可微的数据增强：零样本知识蒸馏：实验结果：联系作者：我的公众号：论文地址：https://openaccess.thecvf.com/content/WACV2021/papers/Chawla_Da

BIT可达鸭·2023-01-10 11:10

《Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning》

《PreservationoftheGlobalKnowledgebyNot-TrueSelfKnowledgeDistillationinFederatedLearning》Abstract1⃣️FederatedLearning’sconvergencesuffersfromdataheterogeneity.2⃣️forgettingcouldbethebottleneckofglobalc

旅行者tru-th·2023-01-10 11:40

论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）

链接：https://arxiv.org/abs/2105.10056v2这篇文章发表在ICML2021，讲的是如何解决联邦学习中的数据异构问题。作者认为现有的知识蒸馏（KnowledgeDistillation，K-D）的方法大多都需要server有一批代理数据（proxydata），协助K-D完成知识传授的过程，这有时候是做不到的。而且只修改全局模型并不能解决用户之间的异质性，反过来这还会影响

Shawn2134123·2023-01-10 11:09

DeiT：Training data-efficient image transformers & distillation through attention

这篇文章主要是通过一些训练策略和知识蒸馏来提升模型的训练速度和性能效果。原文链接：Trainingdata-efficientimagetransformers&distillationthroughattention源码地址：https://github.com/facebookresearch/deit写的好的文章：Transformer学习(四)—DeiT知识蒸馏可以简单看下这篇介绍：知识蒸

暖风️·2023-01-09 08:20

Transformer论文解读三（distillation token）

最近Transformer在CV领域很火，Transformer是2017年Google发表的AttentionIsAllYouNeed中主要是针对自然语言处理领域提出的，后被拓展到各个领域。本系列文章介绍Transformer及其在各种领域引申出的应用。本文介绍的Trainingdata-efficientimagetransformers&distillationthroughattentio

蓝鲸鱼BlueWhale·2023-01-07 09:43

文献阅读记录——Masked Generative Distillation

仅对文章大致的方法做个记录。先给出论文和代码的链接：https://github.com/yzd-v/MGD这篇论文讲的是一个通用于各种视觉任务的知识蒸馏方法，因为它属于特征模仿类的知识蒸馏方法。所谓的特征模仿，就是要让学生网络的某一个或几个特征图去模仿对应的教师网络的特征图，从数学表达式上来说，就是计算学生网络特征图和教师网络特征图均方误差，如下所示：其中F表示特征图，T表示教师，S表示学生，函

一名奇怪的玩家·2023-01-06 02:03

【知识蒸馏】Masked Generative Distillation

文章目录一、摘要二、主要贡献三、创新点灵感分析四、总体框架4.1算法介绍4.2GenerationwithMaskedFeature五、总结[论文]:YangZ,LiZ,ShaoM,etal.MaskedGenerativeDistillation[J].arXivpreprintarXiv:2205.01529,2022.代码地址论文地址论文翻译一、摘要知识蒸馏已成功应用于各种任务。当前的蒸馏算

杨立青101·2023-01-06 02:01

[paper]Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

本文提出了一个防御算法，在不改变深度神经网络的结构并且在尽可能小的影响模型准确率的前提下能够有效地抵御对抗样本的攻击。Weusetheknowledgeextractedduringdistillationtoreducetheamplitudeofnetworkgradientsexploitedbyadversariestocraftadversarialsamples.Ifadversari

ch1762·2023-01-05 16:55

知识蒸馏7：知识蒸馏代码详解

代码说明与yolov5-v6.1代码的区别：data/hyps/hyp.scratch-low-distillation.yaml（添加的文件，修改hyp.scratch-low.yaml得到）utils

@BangBang·2023-01-05 16:24

Similarity-Preserving Knowledge Distillation论文阅读

今天分享一篇2020年ICCV关于知识蒸馏的论文，论文地址点这里一.介绍知识蒸馏是一种用于监督“学生”神经网络训练的通用技术，它通过捕获和转移训练过的“教师”网络的知识来实现。虽然最初的动机是为了资源高效深度学习的神经网络压缩任务，但知识蒸馏已经在特权学习、对抗性防御[25]和噪声数据学习[19]等领域找到了更广泛的应用。知识蒸馏在概念上很简单:它通过额外的蒸馏损失来指导学生网络的训练，从而鼓励学

编程龙·2023-01-05 16:23

关于Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks的理解

为了防御之前提出的FGSM和JSMA的攻击方式，作者根据之前hinton提出的蒸馏学习的方式，再此基础上稍作修改得到了防御蒸馏模型，并理论推导了防御有效性的原因。蒸馏学习是原先hinton提出用来减少模型复杂度并且不会降低泛化性能的方法，具体就是在指定温度下，先训练一个教师模型，再将教师模型在数据集上输出的类别概率标记作为软标签训练学生模型。而在防御蒸馏模型中，选择两个相同的模型作为教师模型和

kearney1995·2023-01-05 16:49

Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

文章目录概主要内容算法一些有趣的指标鲁棒性定义合格的抗干扰机制代码NicolasPapernot,PatrickMcDaniel,XiWu,SomeshJha,AnanthramSwami,DistillationasaDefensetoAdversarialPerturbationsagainstDeepNeuralNetworks.概本文提出一种distillationmodel,能够免疫大部

MTandHJ·2023-01-05 16:48

【论文笔记】（防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

有关蒸馏(Distillation)的论文：(2006)ModelCompression(2014)DoDeepNetsReallyNeedtobeDeep?

Set_____·2023-01-05 16:47

网络轻量化 - 知识蒸馏（knowledge distillation）

原文：《DistillingtheKnowledgeinaNeuralNetwork》目录前期知识集成模型（EnsembleModels）BaggingBoosting缺点知识蒸馏思想算法部分知识蒸馏方法引入温度参数T（Temperature）组合两种Loss前期知识集成模型（EnsembleModels）通过结合了来自多个模型的决策，以提高最终模型的稳定性和准确性。Bagging从原始样本抽取训

Bro_Jun·2023-01-05 15:11

推荐频道

Distillation

[FGD] Focal and Global Knowledge Distillation for detectors (CVPR. 2022)

CVPR21 Semantic-aware Knowledge Distillation for FSCIL

2023 Curriculum Temperature for Knowledge Distillation

神经网络的知识蒸馏

基于蒸馏（distillation loss）的自监督学习算法

知识蒸馏（Knowledge Distillation）

Knowledge Distillation(KD) 知识蒸馏 Pytorch实现

【论文笔记_在线蒸馏、GAN】Online Multi-Granularity Distillation for GAN Compression

【论文速递】TPAMI2022 - 自蒸馏：迈向高效紧凑的神经网络

解耦知识蒸馏（Decoupled Knowledge Distillation，DKD）论文解读

论文翻译《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》

＜Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation＞论文阅读

[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记

【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation

【论文笔记_知识蒸馏_2022】Spot-adaptive Knowledge Distillation

【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher

【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida

【论文笔记_知识蒸馏】Adaptive multi-teacher multi-level knowledge distillation

【论文笔记_知识蒸馏】Interactive Knowledge Distillation for image classification

【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization

【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION

Feature-map-level Online Adversarial Knowledge Distillation论文笔记

Channel-wise Knowledge Distillation for Dense Prediction阅读笔记

2020知识蒸馏 《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》论文笔记

知识蒸馏 Knowledge distillation（学习笔记）

知识蒸馏论文翻译（5）—— Feature Normalized Knowledge Distillation for Image Classification（图像分类）

Learning Student-Friendly Teacher Networks for Knowledge Distillation论文阅读

Distillation-guided Image Inpainting 论文阅读笔记

Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefﬁcient阅读笔记

FedMD: Heterogenous Federated Learning via Model Distillation论文笔记

【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

Knowledge Distillation论文阅读之（1）：Structured Knowledge Distillation for Semantic Segmentation

Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation

Contrastive Model Inversion for Data-Free Knowledge Distillation

【WACV 2021】零样本目标检测知识蒸馏：Data-free Knowledge Distillation for Object Detection

《Preservation of the Global Knowledge by Not-True Self Knowledge Distillation in Federated Learning》

论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）

DeiT：Training data-efficient image transformers & distillation through attention

Transformer论文解读三（distillation token）

文献阅读记录——Masked Generative Distillation

【知识蒸馏】Masked Generative Distillation

[paper]Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

知识蒸馏7：知识蒸馏代码详解

Similarity-Preserving Knowledge Distillation论文阅读

关于Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks的理解

Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

【论文笔记】（防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

网络轻量化 - 知识蒸馏（knowledge distillation）

2020知识蒸馏《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》论文笔记