distillation 第2页

[ACL2023] Symbolic Chain-of-Thought Distillation: Small Models Can Also “Think” Step-by-Step

SymbolicChain-of-ThoughtDistillation:SmallModelsCanAlso“Think”Step-by-Step文章链接虽然CoT作为一种prompt形式在提高LLM的表现上有很好的效果，但此前有研究表明CoT并不能在小规模的LM（参数<60B）上达到较好的效果，而作者却通过蒸馏的方式将大模型的CoT知识传授给小模型，从而让OPT-1.3B这样的模型也获得了Co

ShadyPi·2023-09-13 18:04

Ensemble distillation for robust model fusion in federated learning论文笔记

本文将集成蒸馏运用在联邦学习的模型融合中，并且可以通过未标记的数据或者生成器生成的数据（例如gan）来进行进行模型融合。这让不同客户端的模型异构的前提下，降低了数据隐私泄露的程度。同时实验表明，本文提出的方法练速度更快，比任何现有的FL技术所需的通信轮数更少。论文地址：ENSEMBLEDISTILLATIONFORROBUSTMODELFUSIONINFEDERATEDLEARNING2020

Zoran_卓·2023-09-11 06:04

深度学习概念（术语）：Fine-tuning、Knowledge Distillation, etc

文章目录1.Fine-tuning(微调)2.TransferLearning(迁移学习)3.KnowledgeDistillation(知识蒸馏)4.MetaLearning(元学习)这里的相关概念都是基于已有预训练模型，就是模型本身已经训练好，有一定泛化能力。需要“再加工”满足别的任务需求。进入后GPT时代，对模型的Fine-tuning也将成为趋势，借此机会，我来科普下相关概念。1.Fine

猛码Memmat·2023-09-10 01:23

【多模态论文解读】Align before Fuse: Vision and Language Representation Learning with Momentum Distillation

AlignbeforeFuse:VisionandLanguageRepresentationLearningwithMomentumDistillationName:ALBEFKeywords:Multimodal;ContrastiveLearning;KnowledgeDistillationYear:2021Source:NeurIPSPaper:https://arxiv.org/abs

Marlowee·2023-09-09 15:45

基于yolov5模型的目标检测蒸馏(LD+KD)

文章目录前言一、Distillation理解1、Knowlegedistillation2、Featuredistillation3、Locationdistillation4、其它蒸馏二、yolov5

tangjunjun-owen·2023-09-07 06:11

Training data-efﬁcient image transformers & distillation through attention

这篇文章最大的贡献就是有效降低了visiontransformer的训练成本（时间以及数据），提高了ViT实验的可复现性，本文所提出的DeiT只需要在8块gpu上训练不到3天，就可以达到媲美JFT上训练的ViT的精度。在Google所提的ViT文章中的实验结果表明，visiontransformer在用超大数据集（如JFT）做训练的情况下，性能才能超过CNN。本文在结构上没有对visiontran

nowherespyfly·2023-08-21 10:25

A Comprehensive Survey of Dataset Distillation

本文是蒸馏学习综述系列的第三篇文章，《AComprehensiveSurveyofDatasetDistillation》的一个翻译。数据集蒸馏综述摘要1.引言2.背景2.1形式化数据集蒸馏3元学习框架3.1通过时间方法反向传播3.2核岭回归方法3.3讨论4数据匹配框架4.1梯度匹配方法4.2轨迹匹配方法4.3分布匹配方法4.4讨论5因子分解数据集蒸馏6性能比较6.1标准基准6.2跨体系结构的可迁

UnknownBody·2023-08-19 15:52

Knowledge Distillation and Student-Teacher Learning for Visual Intelligence

本文是蒸馏学习综述系列的第四篇文章，KnowledgeDistillationandStudent-TeacherLearningforVisualIntelligence:AReviewandNewOutlooks的一个翻译。视觉智能的知识蒸馏与学生-老师学习:回顾与新展望摘要1引言2KD是什么？为什么要关注它？3KD的理论分析4基于教师数量的KD4.1从一个老师进行蒸馏4.1.1来自logit

UnknownBody·2023-08-19 15:22

PEFD-多投影蒸馏详细论文与代码解读(Improved Feature Distillation via Projector Ensemble)

论文链接：https://papers.nips.cc/paper_files/paper/2022/file/4ec0b6648bdf487a2f1c815924339022-Paper-Conference.pdf源码链接：https://github.com/chenyd7/PEFD文章目录前言一、论文核心二、论文摘要三、论文内容四、集成投影方法五、源码环境安装六、源码修改1、源码问题2、修

tangjunjun-owen·2023-08-17 22:27

【KD】2023 ICML Linkless Link Prediction via Relational Distillation

1、简介图神经网络（GNN）有很强的链接预测能力，但是其计算依赖于对邻居节点知识的聚合，因此导致其在实际应用中往往有较高的延迟。与GNN不同，多层感知机（MLP）在预测时不依赖于邻居节点信息，因此其推理速度更快，但也在一定程度上影响了其预测准确性。为了同时利用这两种模型的优点，即在快速预测的同时保持较高的预测准确性，我们提出了基于知识蒸馏的链接预测方法，将GNN中的知识通过蒸馏的方式教给学生MLP

静静喜欢大白·2023-08-17 01:53

概念解析 | 知识蒸馏(Knowledge Distillation)

教师指点弟子-深度神经网络知识蒸馏技术详解注1:本文系“概念解析”系列之一,致力于简洁清晰地解释、辨析复杂而专业的概念。本次辨析的概念是:知识蒸馏(KnowledgeDistillation)。KnowledgeDistillation（知识蒸馏）Review–20篇paper回顾-知乎知识蒸馏(KnowledgeDistillation,KD)是深度学习中的一项重要技术,它模仿人类教学的过程,通

R.X. NLOS·2023-08-15 08:33

Focal and Global Knowledge Distillation for Detectors（CVPR 2022）原理与代码解析

paper：FocalandGlobalKnowledgeDistillationforDetectorsofficialimplementation：https://github.com/yzd-v/FGD存在的问题如图1所示，前景区域教师和学生注意力之间的差异非常大，背景区域则相对较小。此外通道注意力的差异也非常明显。作者还设计了实验解耦了蒸馏过程中的前景和背景，结果如表1所示，令人惊讶的是，

00000cj·2023-08-08 16:07

MiniRBT中文小型预训练模型：结合了全词掩码（Whole Word Masking）技术和两段式知识蒸馏（Knowledge Distillation）技术，加快推理速度

项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用CSDN平台，自主完成项目设计升级，提升自身的硬实力。专栏订阅：项目大全提升自身的硬实力[专栏详细介绍：项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的

汀、人工智能·2023-08-06 21:42

《Channel-wise Knowledge Distillation for Dense Prediction》论文详解

原文地址：《Channel-wiseKnowledgeDistillationforDensePrediction》代码地址：https://git.io/Distille（由原文提供，好像打不开了）该文发表在ICCV2021上。文章针对密集性预测任务(denseprediction)提出一种简单而有效的蒸馏方式，之前的知识蒸馏方式之前对于密集预测任务的蒸馏方法都是通过在空间维度上对齐老师和学生网

ce0b74704937·2023-08-02 20:46

简单了解Knowledge distillation知识蒸馏

论文：DistillingtheKnowledgeinaNeuralNetwork一、什么是知识蒸馏，为什么要使用知识蒸馏？知识蒸馏就是把一个大模型的知识迁移到小模型上，因为大模型虽然能达到较高的精度，但它的训练往往需要大量的资源和时间，小模型的训练需要的资源少，训练速度快，但它的精度往往不如大模型。显然，不是每个人都拥有足够的资源训练大模型，为了使用更少的资源、更快的速度，并且精度不能太差，不如

saya1009·2023-08-01 13:57

模型特征蒸馏:Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

https://github.com/SwinTransformer/Feature-Distillation.在FeatureWhitening中使用不带参数的LayerNorm:nn.LayerNorm

xinfeng2005·2023-07-30 23:46

论文笔记|CVPR2023:Supervised Masked Knowledge Distillation for Few-Shot Transformers

这篇论文的题目是用于小样本Transformers的监督遮掩知识蒸馏论文接收：CVPR2023论文地址：https://arxiv.org/pdf/2303.15466.pdf代码链接：https://github.com/HL-hanlin/SMKD1Motivation1.ViT在小样本学习（只有少量标记数据的小型数据集）中往往会过拟合，并且由于缺乏归纳偏置而导致性能较差；2.目前很多方法使用

李问号·2023-07-27 07:50

论文笔记--Distilling the Knowledge in a Neural Network

论文笔记--DistillingtheKnowledgeinaNeuralNetwork1.文章简介2.文章概括3文章重点技术3.1SoftTarget3.2蒸馏Distillation4.文章亮点5.

Isawany·2023-07-25 15:43

用“在线蒸馏”训练大规模分布式神经网络

张右润学号：19021210648转载自：Hinton胶囊网络后最新研究：用“在线蒸馏”训练大规模分布式神经网络【嵌牛导读】深度学习领域的大牛、多伦多大学计算机科学教授GeoffreyHinton近年在distillation

东Rain·2023-07-24 14:06

[读论文]---On Distillation of Guided Diffusion Models

该论文解决的问题1简要描述2在之前的工作中存在下述问题计算过程需要计算：1unconditional的unet2conditional(wtext)的unet下图展示了计算过程对应的代码pipelines->stable_diffusion->pipline_stable_diffusion.py->StableDiffusionPipeling->7.Denoisingloop输入合并torch

计算机视觉-Archer·2023-07-20 08:06

【论文笔记】Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillation

0.前言【参考】多模态论文串讲基于2021年之前的研究，有几个大趋势：（1）模型的视觉能力应该强于文本提取能力（2）模型融合应该有更加复杂的设计，而不只是简单的点积运算（clip）（3）损失函数的选择上：①ITC②MLM③ITM之所以放弃WPA损失函数，是因为他给训练带来了比较大的成本。（参考ViLT）1.介绍1.1挑战（1）图像特征和单词标记嵌入存在于它们自己的空间中，难以建模两者之间关系（2）

weixin_50862344·2023-06-24 00:34

Knowledge Distillation of Large Language Models

这是大模型系列模型的文章，针对《KnowledgeDistillationofLargeLanguageModels》的翻译。大模型的知识蒸馏摘要1引言2方法2.1MiniLLM：利用逆向KLD进行知识蒸馏2.2策略梯度优化2.3训练算法3实验3.1实验设置3.2结果3.3分析3.4消融实验4相关工作5结论摘要知识蒸馏（KD）是一种很有前途的技术，可以减少大型语言模型（LLM）的高计算需求。然而，

UnknownBody·2023-06-21 00:43

DualCross：Cross-Modality Cross-Domain Adaptation for Monocular BEV Perception——论文笔记

这篇文章便是通过从domain-adaption和distillation技术角度去缓解BEV感知方案部署的痛点问题。当训练时的数据分布与实际部署时的训练分布不

m_buddy·2023-06-20 13:12

Overhaul Distillation（ICCV 2019）原理与代码解析

paper：AComprehensiveOverhaulofFeatureDistillationofficialimplementation：GitHub-clovaai/overhaul-distillation

00000cj·2023-06-17 03:54

【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解

参考论文：KnowledgeDistillation:ASurvey1.前言近年来，深度学习在学术界和工业界取得了巨大的成功，根本原因在于其可拓展性和编码大规模数据的能力。但是，深度学习的主要挑战在于，受限制于资源容量，深度神经模型很难部署在资源受限制的设备上。如嵌入式设备和移动设备。因此，涌现出了大量的模型压缩和加速技术，知识蒸馏是其中的代表，可以有效的从大型的教师模型中学习到小型的学生模型。本

姚路遥遥·2023-06-16 21:33

【论文阅读】Tailoring Instructions to Student’s Learning Levels Boosts Knowledge Distillation

论文信息TailoringInstructionstoStudent’sLearningLevelsBoostsKnowledgeDistillation作者：YuxinRen,ZihanZhong,XingjianShi,YiZhu,ChunYuan,MuLi发表单位：清华大学,BosonAI（在AmazonAIlab工作时完成）发表会议：ACL2023,mainconferenceSubmit

zoetu·2023-06-14 08:11

[读论文] [ 蒸馏-diffusion] BOOT : Data-free Distillation of Denoising DiffusionModels with Bootstrapping

苹果宾夕法尼亚摘要Diffusionmodelshavedemonstratedexcellentpotentialforgeneratingdiverseimages.However,theirperformanceoftensuffersfromslowgenerationduetoiterativedenoising.Knowledgedistillationhasbeenrecentlyp

计算机视觉-Archer·2023-06-14 03:45

[读论文][backbone]Knowledge Diffusion for Distillation

摘要Therepresentationgapbetweenteacherandstudentisanemergingtopicinknowledgedistillation(KD).Toreducethegapandimprovetheperformance,currentmethodsoftenresorttocomplicatedtrainingschemes,lossfunctions,an

计算机视觉-Archer·2023-06-14 03:14

Data Distillation: A Survey

本文是蒸馏学习综述系列的第二篇文章，DataDistillation:ASurvey的一个翻译数据蒸馏：综述摘要1引言2数据蒸馏框架2.1元模型匹配的数据蒸馏2.2梯度匹配的数据蒸馏2.3轨迹匹配的数据蒸馏2.4分布匹配的数据蒸馏2.5因式分解的数据蒸馏3数据模态4应用5挑战与未来方向摘要深度学习的普及导致了大量海量、多样的数据集的管理。尽管在单个任务上具有接近人类的表现，但在大型数据集上训练参数

UnknownBody·2023-06-08 04:13

知识蒸馏(Knowledge Distillation)

论文：[1503.02531]DistillingtheKnowledgeinaNeuralNetwork(arxiv.org)知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方式，由于其简单，有效，并且已经在工业界被广泛应用。知识蒸馏使用的是Teacher—Student模型，其中teacher是“知识”的输出者，student是“知识”的接受者。知识蒸馏的过程分为2个阶段:①

夕阳之后的黑夜·2023-04-18 22:39

Improved Knowledge Distillation via Teacher Assistant小陈读paper系列

算是经典了吧哈哈1.他们发现了学生性能下降了，什么时候呢？就是老师模型和学生模型差的太多的时候有了很大gap（一个学生不能请一个维度跨越巨大的老师）（老师可以有效地将其知识转移到一定大小的学生，而不是更小的。）2.为了缓解这个Gap，采用了多步的蒸馏框架whichemploysanintermediate-sizednetwork(teacherassistant)tobridgethegapbe

：）�东东要拼命·2023-04-18 06:14

Knowledge Distillation (2) 知识迁移

更好的阅读体验请跳转至KnowledgeDistillation(2)知识迁移上篇讨论了bert-of-theseus，算是一个开篇，本文继续讨论关于模型蒸馏（DistillingKnowledge）及关于BERT模型的知识蒸馏。模型蒸馏的最重要的一个特点就是降低资源使用和加速模型推理速度，而小模型往往性能较低，本文总结一些如何通过蒸馏来使小模型具有更好的性能。DistillingKnowledg

小蛋子·2023-04-13 16:40

DTFD-MIL: Double-Tier Feature Distillation Multiple Instance Learning for WSI_论文笔记

文章链接：https://arxiv.org/pdf/2203.12081.pdf一.摘要：多实例学习(MIL)在组织病理学全切片图像分类中的应用越来越广泛。然而，用于这一特定分类问题的MIL方法仍然面临着独特的挑战，特别是那些与小样本队列相关的挑战。其中，WSI幻灯片(包)的数量有限，而单个WSI的分辨率很大，这导致从该幻灯片中裁剪大量补丁(实例)。为了解决这个问题，我们提出通过引入伪包的概念来

Sjmanman·2023-04-10 03:02

Interspeech20022论文阅读记录1 - Cross-Layer Similarity Knowledge Distillation for Speech Enhancement

文章目录论文:Cross-LayerSimilarityKnowledgeDistillationforSpeechEnhancementAbstractIntroduction1.Motivation：为什么要对SE模型进行KD2.通用的KD方法：对中间特征表示进行变换3.已有用于SE的KD工作：没有学习中间特征的表示4.本文工作：为SE提出了一种cross-layer的KD框架Methodol

Rarachel的成长之路·2023-04-07 00:53

KD/Knowledge Distillation

https://zhuanlan.zhihu.com/p/102038521KnowledgeDistillation，简称KD，顾名思义，就是将已经训练好的模型包含的知识(”Knowledge”)，蒸馏(“Distill”)提取到另一个模型里面去。今天，我们就来简单读一下这篇论文，力求用简单的语言描述论文作者的主要思想。在本文中，我们将从背景和动机讲起，然后着重介绍“知识蒸馏”的方法，最后我会讨

愚昧之山绝望之谷开悟之坡·2023-04-04 06:31

Deep Virtual-to-Real Distillation for Pedestrian Crossing Prediction(行人横穿马路预测，论文翻译)

(机翻)原文地址：https://arxiv.org/abs/2211.00856#:~:text=To%20this%20end%2C%20we%20formulate%20a%20deep%20virtual,real%20data%20with%20a%20simple%20and%20lightweight%20implementation.Abstract行人过街是最典型的与车辆自然行驶

不太会转弯儿·2023-03-30 03:04

Pre-trained Language Model Distillation from Multiple Teachers

这是一篇关于NLP领域多模型知识蒸馏的文章，整体思路比较清晰，介绍了一种多模型蒸馏的方法。1.简介论文题目：OneTeacherisEnough?Pre-trainedLanguageModelDistillationfromMultipleTeachers地址：https://arxiv.org/pdf/2106.01023.pdf2.motivation&abstract单个教师模型指导学生模

littletomatodonkey·2023-03-22 07:03

Tap into the dark knowledge using neural nets — Knowledge distillation知识蒸馏

动机：任何机器学习/人工智能模型的主要目标都取决于它在看不见的数据上的概括能力，而不是在训练数据上的表现。如果我们更仔细地研究这个目标，我们更倾向于使用不同的模型来适应训练和推理的目的。在训练过程中，我们需要深入而复杂的模型来训练大量的训练数据，但是在推理过程中，我们只需要一个更轻量级的模型来很好地概括任何看不见的数据。较轻的模型在生产推理过程中具有较好的性能。因此，本文的上下文设置是为了看看是否

_YDS·2023-03-20 01:07

[论文笔记] Knowledge Distillation via Instance Relationship Graph

KnowledgeDistillationviaInstanceRelationshipGraphAuthors:YufanLiu,JiajiongCao,BingLi,ChunfengYuan,WeimingHua,YangxiLicandYunqiangDuanMotivation这篇文章是基于传统KD的改进版，类似于同样发表在CVPR2019的RelationalKnowledgeDisti

是杨不是阳羊扬·2023-03-17 07:35

论文笔记-Self-Supervised Learning With Adaptive Distillation for Hyperspectral Image Classification

为了解决高光谱分类问题中带标签数据不足，数据标签采集困难的问题，本文提出了一种自适应SoftLabel生成方法，同时提出了PCN网络结果和自适应蒸馏的网络训练方法和高光谱3DTransformation数据增强方法，联合多种方法，实现Fewshotlearning，最终结果显示能够通过5-10个样本，实现80%~90%的分类准确率0.基本信息引用信息J.Yue,L.Fang,H.Rahmanian

HenryYanWhu·2023-03-17 04:09

【论文精读】KD-MVS

megvii-research/KD-MVS目录Abstract1.Introduction2.Relatedwork3.Methodology3.1Self-supervisedTeacherTraining3.2Distillation-bas

YuhsiHu·2023-03-13 12:11

模型增强(2) 从label下手

KnowledgeDistillation(2):distillingknowledgeofbert中我们提到，模型压缩时一个很重要的知识是softlabels，并且提出了一种简单的方式：自蒸馏（self-distillation

小蛋子·2023-03-10 19:19

[论文阅读：姿态识别] Integral Knowledge Distillation for Multi-Person Pose Estimation

[论文阅读：姿态识别]IntegralKnowledgeDistillationforMulti-PersonPoseEstimation工作重点框架总览FeatureDistillationlogitDistillationStructureDistillation最终优化实验结果消融实验2020IEEESignalProcessingLetters在多人姿态估计中使用知识蒸馏https://i

cheerful090·2023-03-08 21:43

GNN 2021(十三) An Effective Knowledge Distillation Framework，WWW

又是北邮石川老师团队的论文（实名羡慕了，这次WWW中了5篇论文）本文提出了一个知识蒸馏的策略，旨在充分利用数据中有价值的先验知识。所提出的框架提取任意学习的GNN模型(教师模型)的知识，并将其注入到设计良好的学生模型中，学生模型采用标签传播和特征转换两种简单的预测机制，分别自然地保留了基于结构的先验知识和基于特征的先验知识。具体来说，我们将学生模型设计为参数化标签传播和特征转换模块的可训练组合。因

五月的echo·2023-02-07 09:34

CVPR 2019之语义分割：Geometry-Aware Distillation for Indoor Semantic Segmentation

Geometry-AwareDistillationforIndoorSemanticSegmentationJianboJiao,YunchaoWe,ZequnJie,HonghuiShi,RynsonLau,ThomasS.Huang简述：本文提出通过几何感知嵌入来提取depth信息的方式以及多个多级跳变结构融合的方式进行语义分割，并通过将单个任务预测分离为语义分割和集合嵌入学习两种联合任务，

用GAN得有GPU·2023-02-06 18:46

《Focal and Global Knowledge Distillation for Detector》论文解读

若有侵权，联系必删论文地址：FocalandGlobalKnowledgeDistillationforDetectors一、什么是知识蒸馏首次提出知识蒸馏的概念由Hinton于2015年提出：知识蒸馏开山之作中文知识蒸馏研究综述：知识蒸馏研究综述一般地，大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模型因为网络规模较小，表达能力有限。因此，可以利用大模型学习到的知识

WerZ·2023-01-31 15:47

Focal and Global Knowledge Distillation for Detectors

一.概述论文地址：链接代码地址：链接论文简介：此篇论文是在CGNet上增加部分限制loss而来核心部分是将gt框变为mask进行蒸馏注释：仅为阅读论文和代码，未进行试验，如有漏错请不吝指出。文章的疑惑和假设仅代表个人想法。二.详细2.1FocalDistillation2.1.1mask计算此篇文章在目标检测蒸馏中对FPN层进行限制，正常的操作如下公式(1)所示：\[L_{fea}=\frac{1

影醉阏轩窗·2023-01-31 15:46

知识蒸馏之Focal and Global Knowledge Distillation for Detectors

cvpr2021ZhendongYang*1,2ZheLi2XiaohuJiang1YuanGong1ZehuanYuan2DanpeiZhao3ChunYuan†11TsinghuaShenzhenInternationalGraduateSchool2ByteDanceInc3BeiHangUniversity0.摘要作者觉得在目标检测领域，知识蒸馏效果比较差，其原因是教师和学生的特征在背景和

Diros1g·2023-01-31 15:16

Focal and Global Knowledge Distillation——目标检测网络的知识蒸馏

Paper地址：https://arxiv.org/abs/2111.11837GitHub链接：https://github.com/yzd-v/FGD方法FGKD（FocalandGlobalKnowledgeDistillation）通过Focaldistillation与Globaldistillation的结合，兼顾了Instance-level信息、Spatial/ChannelAtt

Law-Yao·2023-01-31 15:46

[目标检测知识蒸馏4] [CVPR22] Focal and Global Knowledge Distillation for Detectors

[CVPR22]FocalandGlobalKnowledgeDistillationforDetectorsMotivation在目标检测中，前景、背景的不平衡是目标检测中的一个关键问题；教师和学生网络的特征在不同区域有很大差异，尤其是在前景和背景中。如果进行平均蒸馏，特征图之间的不均匀差异会产生负面影响。局部和全局蒸馏（FGD）：局部蒸馏：分离了前景和背景，迫使学生网络将注意力集中在教师网络的

Junjian Zhang·2023-01-31 15:45

推荐频道

distillation