distillation 第4页

《Anomaly Detection via Reverse Distillation from One-Class Embedding》论文阅读笔记

作者：HanqiuDengXingyuLi出自：CVPR2022Abstract：作者提出了一种由教师编码器和学生解码器组成的T-S模型，并引入了一种简单有效的“逆向蒸馏”范式。学生网络不直接接收原始图像，而是以教师模型的单类嵌入作为输入和目标，恢复教师的多尺度表示。此外，我们在T-S模型中引入了一个可训练的单类瓶颈嵌入（OCBE）模块。所得到的紧嵌入有效地保留了正常模式的基本信息，并抛弃了异常扰

m0_46314815胡说养的猪·2023-01-03 11:32

Knowledge Distillation for BERT Unsupervised Domain Adaptation

1、介绍KnowledgeDistillationforBERTUnsupervisedDomainAdaptation运用BERT模型和distillation技术实现源域到目标域的知识迁移，提出了一种简单而有效的无监督域适应方法

VLU·2023-01-03 09:24

论文阅读-TNNLS2021-Elastic Knowledge Distillation by Learning from Recollection

Abstract训练过程中历史记忆中的有效信息，来帮助模型学习；recollection构建和使用；不同capacity和不同训练阶段来建立不同的recollection；similarity-basedelasticKD算法(弹性知识蒸馏)；Introduction之前每个trainingepoch的输出(traininghistory),每一个对应一个recollection;Howtobui

focus_clam·2023-01-01 12:32

论文阅读《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》

论文地址：https://arxiv.org/abs/2103.17115代码地址：https://github.com/hzhupku/DCNet目录1、存在的问题2、算法简介3、算法细节3.1、密集关系蒸馏模块(DRD)3.2、上下文感知聚合模块(CFA)3.3、学习策略4、实验消融实验1、存在的问题在以往的小样本目标检测工作中，支持特征和查询特征之间的关系没有得到充分的发掘和利用，传统方法利

薛铁钢·2022-12-30 10:40

知识蒸馏（Knowledge Distillation）

知识蒸馏是做什么的？知识蒸馏的概念由Hinton在DistillingtheKnowledgeinaNeuralNetwork中提出，目的是把一个大模型或者多个模型集成学到的知识迁移到另一个轻量级模型上。KnowledgeDistillation，简称KD，顾名思义，就是将已经训练好的模型包含的知识(Knowledge)，蒸馏(Distill)提取到另一个模型里面去。简而言之，就是模型压缩的一种方

琉璃幻·2022-12-30 08:46

翻译：Structure-Level Knowledge Distillation For Multilingual Sequence Labeling

Structure-LevelKnowledgeDistillationForMultilingualSequenceLabeling（面向多语言序列标注的结构级知识蒸馏）面向多语言序列标注的结构级知识蒸馏0摘要1简介2研究背景2.1序列标注2.2知识蒸馏3实验方法3.1Top-K蒸馏3.2后验蒸馏3.3多语言知识提蒸馏4实验4.1设置4.2结果4.3Zero-shot转移4.4较弱的教师KD4.

球球不秃头·2022-12-27 09:28

Align before Fuse:Vision and Language Representation Learning with Momentum Distillation

AlignbeforeFuse:VisionandLanguageRepresentationLearningwithMomentumDistillation解决问题视觉和语言预训练(VLP)旨在从大规模图像-文本对中学习多模态表示，可以改善下游视觉和语言(V+L)任务。现有的VLP普遍存在几个关键的局限性：（1）图像特征和单词标记嵌入驻留在自己的空间中，这使得多模态编码器学习建模它们的交互具有挑

但愿此生，从未邂逅·2022-12-25 22:17

Towards Cross-Modality Medical Image Segmentation with Online Mutual Knowledge Distillation论文的研读

TowardsCross-ModalityMedicalImageSegmentationwithOnlineMutualKnowledgeDistillation论文的研读原文出处：英文原文本文主要翻译了摘要引言以及结论部分，方法以及结果部分捡重点进行翻译研读，有不恰当之处，敬请指出！摘要：深度卷积神经网络的成功部分归功于大量注释的训练数据。然而，在实践中，获取医疗数据注释通常是昂贵且耗时的。考

我就是我2333·2022-12-22 10:16

【ICLR2021自监督蒸馏】SEED: Self-supervised Distillation For Visual Representation论文精读

论文地址：SEED:Self-supervisedDistillationForVisualRepresentation论文代码：无摘要本文研究小模型的自监督学习。作者的实证研究发现，虽然广泛使用的对比自监督学习方法在大模型训练方面取得了很大的进步，但它在小模型训练中效果不佳。为了解决这个问题，作者提出了一种新的学习范式，称为自监督蒸馏（SEED），利用一个更大的网络（作为教师）以自监督的方式

独上归州·2022-12-21 10:03

(DKD) Decoupled Knowledge Distillation

发布平台：2022CVPR论文链接：https://arxiv.org/abs/2203.08679代码链接：https://github.com/megviiresearch/mdistiller创新点揭示了经典KD是高度耦合的公式，为此局限了KD的潜力。将经典KD为两个层次：（1）是对目标类和所有非目标类(TCKD)的二值预测，（2）是对每个非目标类(NCKD)的多类别预测。TCKD通过二元对

Boss-Zhang·2022-12-18 14:14

(DR-KD)Regularizing Class-wise Predictions via Self-knowledge Distillation

发布平台：2020CVPR论文链接：https://ieeexplore.ieee.org/document/9157224代码链接：https://github.com/alinlab/cs-kd创新点提出一种新的正则化方法来惩罚相似样本之间的预测分布，在训练过程中提取了同一标签的不同样本之间的预测分布，迫使它以类的方式产生更有意义的和一致的预测（通过约束相同类别的样本要输出尽可能相似的结果）。

Boss-Zhang·2022-12-18 14:43

[论文阅读]知识蒸馏（Distilling the Knowledge in a Neural Network）

文章目录前言摘要一、Introduction二、Distillation三、Experiments3.1MNIST3.2SpeechRecognition3.3SpecialistsModelsonVeryBigDataset3.3.1SpecialistModels3.3.2AssigningClassestoSpecialists3.3.3PerformingInferencewithEnse

XMU_MIAO·2022-12-18 14:38

The State Of Knowledge Distillation For Classification Tasks

TheStateOfKnowledgeDistillationForClassificationTasks我们调查了简单分类任务的各种知识提取（KD）策略，并实现了一组声称具有最新准确性的技术。我们使用标准化的模型架构、固定的计算预算和一致的训练计划进行的实验表明，这些蒸馏结果中的许多很难重现。这在使用某种形式的特征提取的方法中尤其明显。进一步的检查显示出缺乏可概括性，这些技术可能只适用于特定的架

weixin_37958272·2022-12-16 19:52

文献阅读：Training data-efficient image transformers & distillation through attention

Trainingdata-efficientimagetransformers&distillationthroughattention1.四个问题要解决什么问题解决Transformer在图像分类问题中对数据集的限制用什么方法解决作者提出DeiT，一种图像transformers，通过改进训练和蒸馏过程，不需要非常大的数据量来进行训练。而相比与EfficientNets来说，DeiT只对已有的数

MRzzyy·2022-12-16 19:22

【论文笔记】【CVPR2022】【异常检测】 Anomaly Detection via Reverse Distillation from One-Class Embedding

[CVPR2022]AnomalyDetectionviaReverseDistillationfromOne-ClassEmbeddingCVPR2022Link:[2201.10703]AnomalyDetectionviaReverseDistillationfromOne-ClassEmbedding(arxiv.org)Code:https://github.com/Merenguelk

Merengue_l·2022-12-16 07:19

Reverse Distillation【异常检测：Density-based】

CVPR2022背景与传统的不同：（1）采用老师编码器和学生解码器结构，学生解码器与老师解码器结构相反（增加异常可区分性，相似的话，在训练阶段一定程度泄漏异常信息。）。（2）将低维嵌入作为输入，通过不同尺度模拟教师行为。模型原理OCBE模块（ResNet中第四残差块）：（1）将多维度特征压缩成单维度。（2）负责消除老师网络的冗余表示，阻止异常输入到学生网络。损失函数：余弦相似度量，标量损失。

太简单了·2022-12-16 07:47

《论文笔记》Anomaly Detection via Reverse Distillation from One-Class Embedding

这是2022年的CVPR文章，作者提出了一个创新的知识蒸馏方案：反转知识蒸馏论文地址：https://arxiv.org/pdf/2201.10703v1.pdfMotivation论文针对传统的知识蒸馏的方案提出了一个问题：认为之前的方案容易阻碍异常表现的多样性传统的知识蒸馏teacher和student的网络架构很相似或者几乎相同而且teacher和student的输入流都是一样的针对这个我的

HarryXxc·2022-12-16 07:41

【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

【经典简读】知识蒸馏(KnowledgeDistillation)经典之作转自：【经典简读】知识蒸馏(KnowledgeDistillation)经典之作作者：潘小小知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作：DistillingtheKnowledgeinaNeuralNe

Adenialzz·2022-12-15 22:45

深度学习三大谜团：集成、知识蒸馏和自蒸馏

）：https://www.microsoft.com/en-us/research/blog/three-mysteries-in-deep-learning-ensemble-knowledge-distillation-and-self-di

Adenialzz·2022-12-15 22:45

论文研读--Masked Generative Distillation

论文：https://arxiv.org/abs/2205.01529github：https://github.com/yzd-v/MGD看到CV领域的知识蒸馏，看完摘要和图片后，心中大喜哈哈哈知识蒸馏还能这么做。知识蒸馏主要可以分为logit蒸馏和feature蒸馏。其中feature蒸馏具有更好的拓展性，已经在很多视觉任务中得到了应用。但由于不同任务的模型结构差异，许多feature蒸馏方法

jiangchao98·2022-12-15 14:01

ICLR2021——神经注意力蒸馏（NEURAL ATTENTION DISTILLATION）：去除DNN中的后门触发器

NEURALATTENTIONDISTILLATION:ERASINGBACKDOORTRIGGERSFROMDEEPNEURALNETWORKS这篇论文发布在ICLR2021。https://arxiv.org/abs/2101.05930本文提出一种新型的防御框架：NeuralAttentionDistillation(NAD)，用于去除DNN中的后门。NAD使用一个教师模型知道后门学生模型在

Jhouery·2022-12-14 15:16

自知识蒸馏（知识蒸馏二）

TrainingDeepNeuralNetworksinGenerations:AMoreTolerantTeacherEducatesBetterStudents（AAAI2019）SecondaryInformation实验Self-Distillation

Man in Himself·2022-12-14 15:14

SAD（自我注意力蒸馏）：Learning Lightweight Lane Detection CNNs by Self Attention Distillation

自我注意力蒸馏来自文章（链接）：LearningLightweightLaneDetectionCNNsbySelfAttentionDistillation项目地址：Codes-for-Lane-Detection说到蒸馏，可能想到最多的就是知识蒸馏、注意力蒸馏，他们三者关系是什么？下面是作者逆风g做的总结：知识蒸馏（Knowledgedistillation）：用于把大网络学习到的内容（kno

狂奔的菜鸡·2022-12-14 15:44

【论文笔记_自蒸馏_2021】GROUND-TRUTH TARGETS DAMPEN REGULARIZATION IMPOSED BY SELF-DISTILLATION

即使是你的老师也需要指导：真实目标抑制了自我蒸馏所施加的正则化。摘要知识蒸馏是一个经典的程序，其中一个神经网络与原始目标一起在另一个网络的输出上进行训练，以便在架构之间转移知识。在自我蒸馏的特殊情况下，网络架构是相同的，已经被观察到可以提高泛化的准确性。在本文中，我们考虑了在核回归设置中自我蒸馏的迭代变体，其中连续的步骤包含了模型输出和地面真实目标。这使得我们能够提供第一个关于在自我蒸馏过程中使用

乱搭巴士·2022-12-14 15:12

【自监督论文阅读笔记】Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

掩码图像建模(MIM)学习表示具有非常好的微调性能，盖过了以前流行的预训练方法，如图像分类、实例对比学习和图像-文本对齐。在本文中，证明了这些预训练方法的较差微调性能可以通过以特征蒸馏(FD)形式的简单后处理来显著改善。特征蒸馏将旧的表示转换成新的表示，新的表示具有一些期望的属性，就像MIM产生的那些表示一样。这些属性，我们统称为optimizationfriendliness优化友好性，通过一组

YoooooL_·2022-12-14 15:10

MiniLM V2 深度自注意力蒸馏: Multi-Head Self-Attention Relation Distillation for Compressing Pretrain

建议先阅读MiniLMV1：蒸馏预训练模型架构：深度自注意力蒸馏（NeurIPS2020）MINILM-知乎论文个人理解目的与V1一样，本篇paper也是在预训练阶段蒸馏模型（跟任务无关的蒸馏架构），下游任务直接load蒸馏预训练好的student模型，使用任务相关数据finetuning。方法深度自注意力蒸馏：蒸馏query-query矩阵、key-key矩阵和value-value矩阵（V1采

亦万·2022-12-14 15:39

知识蒸馏之自蒸馏

知识蒸馏之自蒸馏@TOC知识蒸馏之自蒸馏本文整理了近几年顶会中的蒸馏类文章（强调self-distillation）,后续可能会继续更新其他计算机视觉领域顶会中的相关工作，欢迎各位伙伴相互探讨。

随性奋进的女程序猿·2022-12-14 15:08

Xinlei cheng报告学习

不对称momentumencoder动量dimension维度convergence收敛symmetrizationsy均衡contrastivelearning对比学习autoregressive自回归distillation

计算机视觉-Archer·2022-12-14 01:29

Knowledge Distillation with the Reused Teacher Classifier论文阅读+代码解析

论文地址点这里一.介绍给定一个具有大量参数的强大教师模型，知识蒸馏(KD)的目标是帮助另一个参数化较少的学生模型获得与较大的教师模型相似的泛化能力。实现这一目标的一种直接方法是在给定相同输入的情况下对齐它们的logits或类预测。由于KD技术概念简单，实用有效，在各种应用中都取得了巨大的成功。在知识蒸馏中，学生模型和教师模型的差距成为一项关键性的挑战。在本文中，我们提出了一个简单的知识蒸馏技术，并

编程龙·2022-12-11 09:04

论文笔记:TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval

跨模态广义蒸馏的文本-视频检索摘要介绍动机文本嵌入集合展示方法TEACHTEXT算法4.3.相似矩阵的学习学生模型老师模型结论摘要近年来，通过对视频和音频数据集进行大规模的预训练来构建强大的视频编码器，文本视频检索的任务取得了长足的进展。相比之下，尽管存在自然对称性，但开发大规模语言预训练的有效算法的设计仍有待探索。在这项工作中，我们首先研究了此类算法的设计，并提出了一种新的广义提取方法TEACH

帅帅梁·2022-12-10 04:35

知识蒸馏(Knowledge Distillation)

知识蒸馏(KnowledgeDistillation)从大型、深层的教师网络中提炼知识并转移到小型、简单的学生网络中更深更广→更浅更薄知识(Knowledge)基于响应的知识（Response-BasedKnowledge）①简单、有效、仅限于监督学习②直接模拟教师网络的输出③未能解决教师模型的中级监督问题基于特征的知识（Feature-BasedKnowledge）①特征图：网络中间层和最后一层

龙兰丶·2022-12-08 00:19

【论文笔记_多教师知识蒸馏_2022】CONFIDENCE-AWARE MULTI-TEACHER KNOWLEDGE DISTILLATION

摘要知识蒸馏最初是为了利用单个教师模型的额外监督来进行学生模型培训。为了提高学生的表现，最近的一些变体试图利用来自多名教师的不同知识来源。然而，现有的研究主要通过对多个教师预测进行平均或使用其他无标签策略将它们结合起来，从而整合来自不同来源的知识，这可能会在低质量教师预测的情况下误导学生。为了解决这个问题，我们提出了基于置信度的多教师知识提取（CA-MKD），该方法在真实标签的帮助下，自适应地为每

乱搭巴士·2022-12-08 00:15

【AAAI 2021】跨层知识蒸馏：Cross-Layer Distillation with Semantic Calibration

【AAAI2021】跨层知识蒸馏：Cross-LayerDistillationwithSemanticCalibration论文地址：代码地址：主要问题：主要思路：具体实现：基本符号：语义校准公式：实验结果：联系作者：我的公众号：论文地址：https://arxiv.org/abs/2012.03236代码地址：https://github.com/DefangChen/SemCKD主要问题：目

BIT可达鸭·2022-12-07 16:41

Cross-Layer Distillation with Semantic Calibration--带有语义校准的跨层蒸馏

摘要阐述：知识蒸馏是一种通过利用教师模型的输出来增强学生模型泛化能力的技术。最近，基于特征图的变体探索了中间层中手动分配的师生对之间的知识转移，以进一步改进。存在问题：然而，不同神经网络中的层语义可能不同，人工层关联中的语义失配将导致由于负正则化而导致性能退化。解决方法：为了解决这个问题，提出了跨层知识蒸馏的语义校准（SemanticCalibrationforcrosslayerKnowledg

wangtao990503·2022-12-07 16:59

Decoupled Knowledge Distillation——目标分布与非目标分布相解耦

通过传统知识蒸馏的解耦分析，DKD（DecoupledKnowledgeDistillation）重新审视了暗知识的本质，并通过蒸馏损失函数的改进、获得DKDloss，显著改善了任务相关知识迁移的效果：Paper地址：https://arxiv.org/abs/2203.08679GitHub链接：GitHub-megvii-research/mdistiller:Theofficialimple

Law-Yao·2022-12-05 09:55

TGRS2022/云检测：Category Correlation and Adaptive Knowledge Distillation 类别相关和自适应知识蒸馏在遥感图像致密云检测中的应用

TGRS2022/云检测：CategoryCorrelationandAdaptiveKnowledgeDistillationforCompactCloudDetectioninRemoteSensingImages类别相关和自适应知识蒸馏在遥感图像致密云检测中的应用0.摘要1.概述2.相关工作（略）3.方法3.1.概述3.2.特征CCD（FeatureCCD）3.3.Pixel-Adaptiv

HheeFish·2022-12-05 02:36

【CVPR 2021】Revisiting Knowledge Distillation: An Inheritance and Exploration Framework

【CVPR2021】RevisitingKnowledgeDistillation:AnInheritanceandExplorationFramework论文地址：主要问题：主要思路：具体实现：CompactKnowledgeExtraction：InheritanceandExploration：Inheritanceloss：Explorationloss：训练模型：深度相互学习:实验结果：

BIT可达鸭·2022-12-04 15:40

Knowledge Distillation A Survey - 知识蒸馏综述

2020IJCV-KnowledgeDistillationASurvey-arXiv2006.05525文章目录2020IJCV-KnowledgeDistillationASurvey-arXiv2006.05525模型压缩常见方法知识蒸馏主要思想本文贡献知识Knowledge蒸馏方案DistillationSchemes师生架构Teacher-StudentArchitecture蒸馏算法D

亚索不能玩·2022-11-30 00:25

FreeKD：Free-direction Knowledge Distillation for Graph Neural Networks

标题：FreeKD：Free-directionKnowledgeDistillationforGraphNeuralNetworks1、什么是知识蒸馏？1.1什么是知识：wethedtiidentifytheknowledgeinatrainedmodelwiththelearnedparametervalues知识是训练模型中学到的参数值1.2什么是蒸馏：whichwecall“distill

卧语寒蝉·2022-11-29 09:56

Knowledge Distillation Meets Self-Supervision——知识蒸馏论文阅读

目录Abstract一、Introduction二、Methodology2.1ContrastivePredictionasSelf-SupervisionTask对比预测作为自我监督任务2.2LearningSSKD3.2ImperfectSelf-SupervisedPredictions不完美的自我监督预测总结Abstract1.希望探索一个更普遍和模型不可知论的方法，从预先训练的教师模型

l-mmf·2022-11-29 08:22

Relational Knowledge Distillation——知识蒸馏论文阅读

文章目录一、Abstract二、方法步骤1.Introduction2.Approach1.距离上的蒸馏损失2.角度上的蒸馏损失3.RKD训练三、实验四、总结一、Abstract1.知识蒸馏旨在将从一个模型(教师)中获得的知识转移到另一个模型(学生)中，这个模型通常更小。以前的方法可以表示为一种训练学生模仿教师所代表的个别数据示例的输出激活的形式。2.我们引入了一种新的方法，称为关系知识蒸馏（RK

l-mmf·2022-11-29 08:52

A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning

知识的三种形式一、摘要二、方法步骤1.解决问题的流程-FSP2.蒸馏方法3.结果总结知识的三种形式1.Responsed-BasedKnowledge：小模型学习大模型的输出（Hinton）2.Feature-BasedKnowledge：小模型学习大模型的中间featurehttps://arxiv.org/abs/1412.65503.Relation-BasedKnowledge：小模型学习

l-mmf·2022-11-29 08:51

Knowledge Distillation with Conditional Adversarial Networks论文初读

待墨痕干·2022-11-29 08:17

【Distilling】《Learning Efficient Object Detection Models with Knowledge Distillation》

NIPS-2017文章目录1BackgroundandMotivation2Advantages/Contributions3Method3.1KnowledgeDistillationforClassificationwithImbalancedClasses3.2KnowledgeDistillationforRegressionwithTeacherBounds3.3HintLearning

bryant_meng·2022-11-29 08:15

Knowledge Distillation 笔记

Inter-RegionAffinityDistillationforRoadMarkingSegmentation（2020.04）YuenanHou1,ZhengMa2,ChunxiaoLiu2,Tak-WaiHui1,andChenChangeLoy3y1TheChineseUniversityofHongKong2SenseTimeGroupLimited3NanyangTechnolog

DreamLike_zzg·2022-11-29 08:14

（转）Awesome Knowledge Distillation

AwesomeKnowledgeDistillation2018-07-1910:38:40Reference：https://github.com/dkozlov/awesome-knowledge-distillationPapersCombininglabeledandunlabeleddatawithco-training,A.Blum,T.Mitchell,1998ModelCompre

a1424262219·2022-11-29 08:44

Training Shallow and Thin Networks for Acceleration via Knowledge Distillation with Conditional Adve

l-mmf·2022-11-29 08:14

OPEN-VOCABULARY OBJECT DETECTION VIAVISION AND LANGUAGE KNOWLEDGE DISTILLATION

通过视觉和语言知识提炼进行开放词汇的物体检测摘要我们的目标是推进开放词汇的物体检测，它可以检测由任意文本输入描述的物体。根本的挑战是训练数据的可用性。现有的物体检测数据集只包含数百个类别，而且进一步扩展成本很高。为了克服这一挑战，我们提出了ViLD，一种通过视觉和语言知识提炼的训练方法。我们的方法是将预先训练好的开放词汇图像分类模型（教师）的知识提炼成两阶段的检测器（学生）。具体来说，我们使用教师

appron·2022-11-28 20:06

# 互信息最大化[视角统一]:Align before Fuse: Vision Language Representation Learning with Momentum Distillation

互信息最大化[视角统一]:AlignbeforeFuse:VisionandLanguageRepresentationLearningwithMomentumDistillation摘要视觉和语言表示学习已经广泛被应用与各种视觉语言任务。现有方法大多数基于Transformer方法的多模态编码器同时进行视觉特征学习（基于区域的图像特征）和文本特征学习。鉴于视觉特征和文本特征之间的语义空间不一致问

Mira-Tableau·2022-11-28 11:40

【论文翻译】Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection

DenseRelationDistillationwithContext-awareAggregationforFew-ShotObjectDetection基于上下文感知聚合的稠密关系提取用于少样本目标检测论文地址：https://arxiv.org/pdf/2007.12107v1.pdfhttps://arxiv.org/pdf/2103.17115.pdfhttps://arxiv.org

小张好难瘦·2022-11-28 11:01

推荐频道

distillation