知识蒸馏

【论文速递】CCDC2021 - 轻量级网络的结构化注意知识蒸馏

【论文速递】CCDC2021-轻量级网络的结构化注意知识蒸馏【论文原文】：StructuredAttentionKnowledgeDistillationforLightweightNetworks获取地址
長__安·2023-01-18 14:09

顶刊TPAMI2023｜港中文提出基于自适应视角的APD知识蒸馏框架，有效提高现实场景语义分割性能

论文标题：AdaptivePerspectiveDistillationforSemanticSegmentation论文链接：https://ieeexplore.ieee.org/document/9736597作者单位：香港中文大学（JiayaJia，IEEEFellow）、牛津大学欢迎关注@CV顶刊顶会微信公众号，严肃且认真的计算机视觉论文前沿报道~强大的语义分割模型需要预训练的backb
CV顶刊顶会·2023-01-18 09:33

知识蒸馏详解

在第一次听到知识蒸馏这个名词时，觉得好高大上，后来听台湾大学李宏毅老师讲解时也是云里雾里。
不过普通话一乙不改名·2023-01-18 09:17

知识蒸馏简介

知识蒸馏知识蒸馏简介蒸馏作用背景主要是为了减少模型计算量，降低模型复杂度，减少需要的计算资源模型压缩基本方法：裁剪为什么要进行知识蒸馏当前深度学习模型参数越来越多，规模越来越大，在处理数据和模型部署的时候
hblg_bobo·2023-01-18 09:16

知识蒸馏

目录一引言1.1深度学习的优点1.2深度学习的缺点二什么是知识蒸馏2.1模型压缩2.2什么是学习2.3什么是知识蒸馏2.4知识蒸馏的一般流程三知识蒸馏的分类3.1模型结构的种类3.2知识的分类3.3如何蒸馏四输出层知识蒸馏
_Old_Summer·2023-01-18 09:15

知识蒸馏 示例代码实现及下载

知识蒸馏代码实现论文《DistillingtheKnowledgeinaNeuralNetwork》*源码以Github为准Github链接：https://github.com/yeqiwang/KnowledgeDistilling1
今生有幸.~·2023-01-18 09:15

知识蒸馏

知识蒸馏是模型压缩的一种方法，指将复杂的、参数量大的模型的特征表达能力迁移到简单的、参数量小的模型中，以加快模型的推理。
hi我是大嘴巴·2023-01-16 15:20

【知识蒸馏】如何写好BERT知识蒸馏的损失函数代码(一)

来自：NLP从入门到放弃大家好，我是DASOU；今天从代码角度深入了解一下知识蒸馏，主要核心部分就是分析一下在知识蒸馏中损失函数是如何实现的；知识蒸馏一个简单的脉络可以这么去梳理：学什么，从哪里学，怎么学
zenRRan·2023-01-16 15:49

知识蒸馏（Knowledge Distillation）

1、DistillingtheKnowledgeinaNeuralNetworkHinton的文章"DistillingtheKnowledgeinaNeuralNetwork"首次提出了知识蒸馏（暗知识提取
迷路在代码中·2023-01-16 15:48

Knowledge Distillation(KD) 知识蒸馏 Pytorch实现

简单实现，主要为了理解其原理importtorchimporttorch.nnasnnimportnumpyasnpfromtorch.nnimportCrossEntropyLossfromtorch.utils.dataimportTensorDataset,DataLoader,SequentialSamplerclassmodel(nn.Module):def__init__(self,i
hxxjxw·2023-01-16 15:48

转：知识蒸馏

转：https://www.cnblogs.com/jins-note/p/9679450.html本文为转载，主要是给自己看的，最好可以到原文查看。蒸馏神经网络取名为蒸馏（Distill），其实是一个非常形象的过程。我们把数据结构信息和数据本身当作一个混合物，分布信息通过概率分布被分离出来。首先，T值很大，相当于用很高的温度将关键的分布信息从原有的数据中分离，之后在同样的温度下用新模型融合蒸馏出
冰菓(笑)·2023-01-16 15:18

解耦知识蒸馏（Decoupled Knowledge Distillation，DKD）论文解读

论文简介：1、为了提供研究logit蒸馏的新观点，本文将经典的KD损失重新表述为两个部分，即目标类知识蒸馏（TCKD）和非目标类知识精馏（NCKD）。
一瞬にして失う·2023-01-16 06:45

[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

目录Method1.结果蒸馏——分类2.结果蒸馏——回归3.特征蒸馏实验结果总结Method将知识蒸馏用在检测方向最大的问题就是前景和背景的类别不均衡问题。
机器就不学习·2023-01-12 13:34

[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记

动机认为目标检测知识蒸馏效果不好的问题出在两个地方。1.前背景像素比例不平衡问题。
机器就不学习·2023-01-12 13:34

【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation

通过对立知识蒸馏压缩深度图神经网络摘要深度图神经网络(GNNs)已被证明对图结构数据的建模具有表达能力。然而，深度图模型的过度堆积的体系结构使得在移动或嵌入式系统上部署和快速测试变得困难。
乱搭巴士·2023-01-12 13:33

【论文笔记_知识蒸馏_2022】Spot-adaptive Knowledge Distillation

点自适应知识蒸馏摘要知识提取(KD)已经成为压缩深度神经网络的一个良好建立的范例。进行知识提炼的典型方式是在教师网络的监督下训练学生网络，以利用教师网络中一个或多个点(即，层)的知识。
乱搭巴士·2023-01-12 13:03

【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher

来自一个更强的教师的知识蒸馏摘要不同于现有的知识提取方法侧重于基线设置，其中教师模型和培训策略不如最先进的方法强大和有竞争力，本文提出了一种称为DIST的方法，以从更强的教师中提取更好的知识。
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida

摘要我们提出了一种基于深度神经网络的新型类增量学习方法，该方法在有限的内存中不断学习新的任务，用于存储以前任务中的例子。我们的算法以知识提炼为基础，提供了一种原则性的方法来保持旧模型的表征，同时有效地调整到新任务。所提出的方法估计了模型更新所产生的表征变化和损失增加之间的关系。它利用表征最小化了损失增加的上界，这利用了骨干模型内每个特征图的估计重要性。基于重要性，该模型限制重要特征的更新以获得稳健
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏】Adaptive multi-teacher multi-level knowledge distillation

2020年的论文。摘要知识提炼（KD）是一种有效的学习范式，通过利用从教师网络中提炼的额外监督知识来提高轻量级学生网络的性能。大多数开创性研究要么在学习方法上只向一名教师学习，忽视了一名学生可以同时向多名教师学习的潜力，要么简单地将每位教师视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多级知识提炼学习框架（AMTML-KD），这包括两个新的见解：
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏】Interactive Knowledge Distillation for image classification

摘要知识提炼（KD）是一个标准的师生学习框架，在训练有素的大型教师网络的指导下，培养一个轻量级的学生网络。互动教学作为一种有效的教学策略，在学校得到了广泛的应用，以激发学生的学习动机。在互动教学中，教师不仅提供知识，而且对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了交互式知识提炼（IAKD）来利用交互式教学策略进行有效的知识提炼。在提取过程中，教师网络和学生网络之间的
乱搭巴士·2023-01-12 13:32

【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization

代码地址：https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation摘要知识提炼（KD）旨在将繁琐的教师模型中的知识提炼为轻量级的学生模型。它的成功通常归功于教师模型提供的关于类别之间相似性的特权信息，从这个意义上说，只有强大的教师模型被部署在实践中教较弱的学生。在这项工作中，我们通过以下实验观察来挑战这一共同信念：1）除了承
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION

代码地址:https://github.com/jingyang2017/KD_SRRL摘要本文通过知识提炼解决了模型压缩的问题。我们主张采用一种优化学生网络倒数第二层的输出特征的方法，因此与表征学习直接相关。为此，我们首先提出了一种直接的特征匹配方法，它只关注优化学生的倒数第二层。其次，更重要的是，由于特征匹配没有考虑到手头的分类问题，我们提出了第二种方法，将表征学习和分类解耦，利用教师的预训练
乱搭巴士·2023-01-12 13:32

2020知识蒸馏 《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》论文笔记

论文笔记《ChannelDistillation:Channel-WiseAttentionforKnowledgeDistillation》摘要问题1.ChannelDistillation(CD)渠道蒸馏2.GuidedKnowledgeDistillation(GKD)知识引导蒸馏3.EarlyDecayTeacher(EDT)早期教师的衰减4.损失函数实验  论文地址：ChannelDis
星竹紫兰·2023-01-12 13:31

知识蒸馏 Knowledge distillation（学习笔记）

知识蒸馏概述蒸馏：把大的复杂的东西变成小的纯净的东西在知识蒸馏中大的模型为教师模型（teacher）臃肿集成牛逼复杂的小的为学生模型（student）小的精干的轻量化的这里有一个知识的迁移因为落地实现的终端边缘设备的算计十分有限所以急需将一个大的优秀的模型压缩成一个小巧精干的轻量化模型这张图它背后的含义是预训练的大模型的增长速率时很恐怖的比摩尔定律还大而我们小设备的算力提升是很受限的
：）�东东要拼命·2023-01-12 13:00

知识蒸馏论文翻译（5）—— Feature Normalized Knowledge Distillation for Image Classification（图像分类）

知识蒸馏论文翻译（5）——FeatureNormalizedKnowledgeDistillationforImageClassification（图像分类）用于图像分类的特征归一化知识蒸馏文章目录知识蒸馏论文翻译
~拾捌~·2023-01-12 09:49

ECCV 2022 | FedX: 在无监督联邦学习中进行知识蒸馏

©PaperWeekly原创·作者|张成蹊单位|Freewheel机器学习工程师研究方向|自然语言处理论文的立意是在联邦学习过程中，结合对比学习，用局部与全局的两种蒸馏方式来无监督地学习样本的向量表示。FedX不仅是一种创新的无监督学习算法，更是一种可以热插拔用于传统对比学习，使之效果提升的无监督损失函数。关键词：联邦学习（FederatedLearning），对比学习（ContrastiveLe
PaperWeekly·2023-01-12 08:38

【学习】Meta Learning、

回顾GD学习好的初始化参数学习学习率NAS寻找网络结构dataaugmentationSampleReweightingFew-shotImageClassification元学习与自我监督学习元学习和知识蒸馏元学习和领域适应元学习与终身学习一
Raphael9900·2023-01-11 10:28

Learning Student-Friendly Teacher Networks for Knowledge Distillation论文阅读

本篇论文来自2021年NeurIPS，论文地址点这里一.介绍知识蒸馏是一种著名的技术，用于学习具有竞争性精度的紧凑深度神经网络模型，其中较小的网络(学生)被训练来模拟较大网络(教师)的表示。
编程龙·2023-01-10 19:48

Distillation-guided Image Inpainting 论文阅读笔记

这是ICCV的文章，但我只是随便读一下，记录一些可能以后会参考的机制网络结构图如下：主要就是用了两个网络，参考了知识蒸馏中教师-学生网络的方式，用完整图像encoder-decoder重建过程中的特征图来监督
sysu_first_yasuo·2023-01-10 15:18

AI关键组件 | 集成，知识蒸馏和蒸馏「AI核心算法」

关注：耕智能，深耕AI脱水干货作者：ZeyuanAllen-Zhu编译：ronghuaiyang报道：AI公园转载请联系作者训练好的模型，用自己蒸馏一下，就能提高性能，是不是很神奇，这里面的原理到底是什么呢，这要从模型集成开始说起。在现在的标准技术下，例如过参数化、batch-normalization和添加残差连接，“现代”神经网络训练——至少对于图像分类任务和许多其他任务来说——通常是相当稳定
九三智能控v·2023-01-10 11:20

Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

这篇论文从正则化方法可以提高网络的泛化能力这一点出发，提出了一个简单且有效的正则化方法——Self-KD，即自知识蒸馏。从作者所做的一系列实验可以看出来，Self-KD不仅在提高精度上面起到
PyBigStar·2023-01-10 11:19

联邦学习——用data-free知识蒸馏处理Non-IID

《Data-FreeKnowledgeDistillationforHeterogeneousFederatedLearning》ICML2021最近出现了利用知识蒸馏来解决FL中的用户异构性问题的想法
联邦学习小白·2023-01-10 11:41

FedMD: Heterogenous Federated Learning via Model Distillation论文笔记

  本文提出使用迁移学习和知识蒸馏开发了一个联邦学习框架FedMD，此框架允许不同的客户端根据其计算能力设计不同的网络结构，并且保护数据集的隐私安全和模型的隐私安全条件下联合训练出一个模型。
Zoran_卓·2023-01-10 11:41

【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

【AAAI2021】零样本知识蒸馏：Data-FreeKnowledgeDistillationwithSoftTargetedTransferSetSynthesis论文地址：主要问题：主要思路：主要贡献
BIT可达鸭·2023-01-10 11:41

Knowledge Distillation论文阅读之（1）：Structured Knowledge Distillation for Semantic Segmentation

文章目录abstractIntroductionRelatedWorksemanticsegmentation（语义分割方面）Knowledgedistillation（知识蒸馏方面）Adversariallearning
暖仔会飞·2023-01-10 11:10

【WACV 2021】零样本目标检测知识蒸馏：Data-free Knowledge Distillation for Object Detection

【WACV2021】零样本目标检测知识蒸馏：Data-freeKnowledgeDistillationforObjectDetection论文地址：主要问题：主要思路：具体实现：数据生成：边框采样：可微的数据增强
BIT可达鸭·2023-01-10 11:10

论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）

作者认为现有的知识蒸馏（KnowledgeDistillation，K-D）的方法大多都需要server有一批代理数据（proxydata），协助K-D完成知识传授的过程，这有时候是做不到的。
Shawn2134123·2023-01-10 11:09

知识对话2021《Unsupervised Knowledge Selection for Dialogue Generation》论文解读

反思：核心技术点有distancesupervision、知识蒸馏方面需要恶补一下。模型架构图，画的有点…还
曾阿牛nlper·2023-01-09 17:13

DeiT：Training data-efficient image transformers & distillation through attention

这篇文章主要是通过一些训练策略和知识蒸馏来提升模型的训练速度和性能效果。
暖风️·2023-01-09 08:20

李宏毅机器学习2022春季-第十三课和HW13

第十三课主要内容是Networkcompression(模型压缩)，课程中介绍了五种模型压缩的方法：NetworkPruning（模型剪枝）,KnowledgeDistillation（知识蒸馏）,ParameterQuan
机器学习手艺人·2023-01-09 06:55

HW13 Network Compression网络压缩

文章目录一、任务描述1、介绍知识蒸馏2、介绍架构设计二、实验1、simplebaselineconfigs结构设计训练2、mediumbaselineconfigs3、strongbaselineconfigsReLu
Raphael9900·2023-01-09 06:47

机器学习-27-Network Compression( 网络压缩)

INTRODUCTIONWhyPruningLotteryTicketHypothesis(大乐透假说)RethinkingtheValueofNetworkPruningPracticalIssueKnowledgeDistillation(知识蒸馏
迷雾总会解·2023-01-08 09:15

2021李宏毅机器学习笔记--13 Network Compression

LotteryTicketHypothesis)1.4RethinkingtheValueofNetworkPruning1.5PracticalIssue二、KnowledgeDistillation（知识蒸馏
guoxinxin0605·2023-01-08 09:41

【机器学习】有监督、无监督、自监督、半监督、弱监督的区别

通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这个模型对（较大规模的）无标签数据预测伪标签，作为Student模型的训练数据；知识蒸馏。
秋天的波·2023-01-08 07:06

【学习】网络压缩：知识蒸馏、参数量化、动态计算，PPO

文章目录一、知识蒸馏KnowledgeDistillation二、参数量化结构设计:深度方向可分卷积DepthwiseSeparableConvolution1、DepthwiseConvolution
Raphael9900·2023-01-07 08:19

给我推荐20个比较流行的知识蒸馏模型/方法/源码

目录给我推荐20个比较流行的知识蒸馏模型给我推荐10个比较流行的知识蒸馏模型源码给我推荐20个比较流行的深度学习知识蒸馏方法给我推荐20个比较流行的深度学习知识蒸馏方法源码给我推荐20个比较流行的深度学习知识蒸馏实现源码给我推荐
源代码杀手·2023-01-06 19:09

【论文笔记_知识蒸馏_数据增强_2022】When Chosen Wisely, More Data Is What You Need

WhenChosenWisely,MoreDataIsWhatYouNeed:AUniversalSample-EfficientStrategyForDataAugmentation摘要众所周知，数据增强（DA）可以提高深层神经网络的泛化能力。大多数现有的DA技术天真地添加一定数量的增强样本，而不考虑这些样本的质量和增加的计算成本。为了解决这个问题，一些最先进的DA方法采用的一种常见策略是，在训
乱搭巴士·2023-01-06 09:24

蒸馏学习框架小抄(1)

蒸馏一篇博文推荐:知识蒸馏综述：代码整理_MGD论文:MaskedGenerativeDistillation代码:https://github.com/yzd-v/MGDDistKnowledgeDistillationfromAStrongerT
Andy Dennis·2023-01-06 02:04

#今日论文推荐#ECCV 2022 | 清华&字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏

#今日论文推荐#ECCV2022|清华&字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏知识蒸馏主要可以分为logit蒸馏和feature蒸馏。
wwwsxn·2023-01-06 02:33

MGD【知识蒸馏】【expand】

ECCV2022老师网络通过指导掩码特征的重构，提升学生网络的表示能力（类似代理任务）。使用部分像素通过简单块来还原教师的全部特征，那么使用过的像素的表征能力也可以提高。模型原理nn.MSELoss(reduction='sum'):均方误差，sum两个tensor对应位置像素求差再平方，再将得到所有位置的像素求和得到一个值。【mean的话就不求和，而是求平均。none的话只在对应位置求差再平方后
太简单了·2023-01-06 02:03
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他