蒸馏）

CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割

我们从简单的像素蒸馏方案开始，它将图像分类所采用的蒸馏方案应用于图像分类，并对每个像素分别进行知识蒸馏。基于语义分割是一个结构化的预测问题，我们进一步提出将结构化知识从大网络提取到
SophiaCV·2023-01-21 09:45

浓缩就是精华：用大一统视角看待数据集蒸馏

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群24页述评，167篇参考文献，新加坡国立大学发布最新数据集蒸馏全面述评！
Amusi（CVer）·2023-01-20 17:22

PointDistiller：面向高效紧凑3D检测的结构化知识蒸馏（CVPR2022）

最近，知识蒸馏已被提出作为一种有效的模型压缩技术，它将知识从过度参数化的教师转
自动驾驶之心·2023-01-18 16:12

【论文速递】CCDC2021 - 轻量级网络的结构化注意知识蒸馏

【论文速递】CCDC2021-轻量级网络的结构化注意知识蒸馏【论文原文】：StructuredAttentionKnowledgeDistillationforLightweightNetworks获取地址
長__安·2023-01-18 14:09

顶刊TPAMI2023｜港中文提出基于自适应视角的APD知识蒸馏框架，有效提高现实场景语义分割性能

论文标题：AdaptivePerspectiveDistillationforSemanticSegmentation论文链接：https://ieeexplore.ieee.org/document/9736597作者单位：香港中文大学（JiayaJia，IEEEFellow）、牛津大学欢迎关注@CV顶刊顶会微信公众号，严肃且认真的计算机视觉论文前沿报道~强大的语义分割模型需要预训练的backb
CV顶刊顶会·2023-01-18 09:33

知识蒸馏详解

在第一次听到知识蒸馏这个名词时，觉得好高大上，后来听台湾大学李宏毅老师讲解时也是云里雾里。
不过普通话一乙不改名·2023-01-18 09:17

知识蒸馏简介

知识蒸馏知识蒸馏简介蒸馏作用背景主要是为了减少模型计算量，降低模型复杂度，减少需要的计算资源模型压缩基本方法：裁剪为什么要进行知识蒸馏当前深度学习模型参数越来越多，规模越来越大，在处理数据和模型部署的时候
hblg_bobo·2023-01-18 09:16

知识蒸馏

目录一引言1.1深度学习的优点1.2深度学习的缺点二什么是知识蒸馏2.1模型压缩2.2什么是学习2.3什么是知识蒸馏2.4知识蒸馏的一般流程三知识蒸馏的分类3.1模型结构的种类3.2知识的分类3.3如何蒸馏四输出层知识蒸馏
_Old_Summer·2023-01-18 09:15

知识蒸馏 示例代码实现及下载

知识蒸馏代码实现论文《DistillingtheKnowledgeinaNeuralNetwork》*源码以Github为准Github链接：https://github.com/yeqiwang/KnowledgeDistilling1
今生有幸.~·2023-01-18 09:15

CVPR 2021 预讲 · 华为诺亚专场，5 篇精华报告，覆盖NAS、蒸馏、检测和降噪

国际计算机视觉与模式识别会议（CVPR）是计算机视觉领域三大顶会之一（另外两个分别为ICCV、ECCV）。作为计算机视觉领域一年一度的盛会，CVPR每年接收论文的情况，基本可以代表一年中计算机视觉领域的发展趋势。CVPR2021大会将于6月19日至25日线上举行，中国科学院院士谭铁牛将担任CVPR2021四位大会主席之一。今年CVPR共有7015篇有效投稿，其中进入DecisionMaking阶段
智源社区·2023-01-17 19:40

知识蒸馏

知识蒸馏是模型压缩的一种方法，指将复杂的、参数量大的模型的特征表达能力迁移到简单的、参数量小的模型中，以加快模型的推理。
hi我是大嘴巴·2023-01-16 15:20

【知识蒸馏】如何写好BERT知识蒸馏的损失函数代码(一)

来自：NLP从入门到放弃大家好，我是DASOU；今天从代码角度深入了解一下知识蒸馏，主要核心部分就是分析一下在知识蒸馏中损失函数是如何实现的；知识蒸馏一个简单的脉络可以这么去梳理：学什么，从哪里学，怎么学
zenRRan·2023-01-16 15:49

知识蒸馏（Knowledge Distillation）

1、DistillingtheKnowledgeinaNeuralNetworkHinton的文章"DistillingtheKnowledgeinaNeuralNetwork"首次提出了知识蒸馏（暗知识提取
迷路在代码中·2023-01-16 15:48

Knowledge Distillation(KD) 知识蒸馏 Pytorch实现

简单实现，主要为了理解其原理importtorchimporttorch.nnasnnimportnumpyasnpfromtorch.nnimportCrossEntropyLossfromtorch.utils.dataimportTensorDataset,DataLoader,SequentialSamplerclassmodel(nn.Module):def__init__(self,i
hxxjxw·2023-01-16 15:48

BERT蒸馏完全指南｜原理/技巧/代码

来自：李rumor小朋友，关于模型蒸馏，你是否有很多问号：蒸馏是什么？怎么蒸BERT？BERT蒸馏有什么技巧？如何调参？蒸馏代码怎么写？有现成的吗？
zenRRan·2023-01-16 15:48

转：知识蒸馏

蒸馏神经网络取名为蒸馏（Distill），其实是一个非常形象的过程。我们把数据结构信息和数据本身当作一个混合物，分布信息通过概率分布被分离出来。
冰菓(笑)·2023-01-16 15:18

【论文笔记_在线蒸馏、GAN】Online Multi-Granularity Distillation for GAN Compression

为了解决这个问题，我们提出了一种新的在线多粒度蒸馏（OMGD）方案来获得轻量级的GAN，这有助于以较低的计算需求生成高保真图像。我们首次尝试将单级在线蒸馏推广到面
乱搭巴士·2023-01-16 11:04

【论文速递】TPAMI2022 - 自蒸馏：迈向高效紧凑的神经网络

【论文速递】TPAMI2022-自蒸馏：迈向高效紧凑的神经网络【论文原文】：Self-Distillation:TowardsEfficientandCompactNeuralNetworks获取地址：
長__安·2023-01-16 10:56

解耦知识蒸馏（Decoupled Knowledge Distillation，DKD）论文解读

论文简介：1、为了提供研究logit蒸馏的新观点，本文将经典的KD损失重新表述为两个部分，即目标类知识蒸馏（TCKD）和非目标类知识精馏（NCKD）。
一瞬にして失う·2023-01-16 06:45

【自然语言处理】【多模态】ALBEF：基于动量蒸馏的视觉语言表示学习

ALBEF：基于动量蒸馏的视觉语言表示学习《AlignbeforeFuse：VisionandLanguageRepresentationLearningwithMomentumDistillation
BQW_·2023-01-13 18:38

CLIP2TV：用CLIP和动量蒸馏来做视频文本检索！腾讯提出CLIP2TV，性能SOTA，涨点4.1%！...

关注公众号，发现CV技术之美▊写在前面现代视频文本检索框架主要由视频编码器、文本编码器和相似度head三个部分组成。随着视觉表示学习和文本表示学习的成功，基于Transformer的编码器和融合方法也被应用于视频-文本检索领域。在本文中，作者提出了CLIP2TV，旨在探索基于Transformer的方法中关键元素的位置。为了实现这一点，作者首先回顾了多模态学习的一些研究，然后将一些技术引入视频文本
我爱计算机视觉·2023-01-13 18:38

DistilBERT 论文笔记

单位：HuggingFace时间：2020.5发表：NIPS2019论文链接：https://arxiv.org/pdf/1910.01108.pdf一、背景1.什么是distill（蒸馏）？
shuaiZuJiaoFu·2023-01-12 19:10

[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

目录Method1.结果蒸馏——分类2.结果蒸馏——回归3.特征蒸馏实验结果总结Method将知识蒸馏用在检测方向最大的问题就是前景和背景的类别不均衡问题。
机器就不学习·2023-01-12 13:34

[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记

动机认为目标检测知识蒸馏效果不好的问题出在两个地方。1.前背景像素比例不平衡问题。
机器就不学习·2023-01-12 13:34

【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation

通过对立知识蒸馏压缩深度图神经网络摘要深度图神经网络(GNNs)已被证明对图结构数据的建模具有表达能力。然而，深度图模型的过度堆积的体系结构使得在移动或嵌入式系统上部署和快速测试变得困难。
乱搭巴士·2023-01-12 13:33

【论文笔记_知识蒸馏_2022】Spot-adaptive Knowledge Distillation

点自适应知识蒸馏摘要知识提取(KD)已经成为压缩深度神经网络的一个良好建立的范例。进行知识提炼的典型方式是在教师网络的监督下训练学生网络，以利用教师网络中一个或多个点(即，层)的知识。
乱搭巴士·2023-01-12 13:03

【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher

来自一个更强的教师的知识蒸馏摘要不同于现有的知识提取方法侧重于基线设置，其中教师模型和培训策略不如最先进的方法强大和有竞争力，本文提出了一种称为DIST的方法，以从更强的教师中提取更好的知识。
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida

摘要我们提出了一种基于深度神经网络的新型类增量学习方法，该方法在有限的内存中不断学习新的任务，用于存储以前任务中的例子。我们的算法以知识提炼为基础，提供了一种原则性的方法来保持旧模型的表征，同时有效地调整到新任务。所提出的方法估计了模型更新所产生的表征变化和损失增加之间的关系。它利用表征最小化了损失增加的上界，这利用了骨干模型内每个特征图的估计重要性。基于重要性，该模型限制重要特征的更新以获得稳健
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏】Adaptive multi-teacher multi-level knowledge distillation

2020年的论文。摘要知识提炼（KD）是一种有效的学习范式，通过利用从教师网络中提炼的额外监督知识来提高轻量级学生网络的性能。大多数开创性研究要么在学习方法上只向一名教师学习，忽视了一名学生可以同时向多名教师学习的潜力，要么简单地将每位教师视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多级知识提炼学习框架（AMTML-KD），这包括两个新的见解：
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏】Interactive Knowledge Distillation for image classification

摘要知识提炼（KD）是一个标准的师生学习框架，在训练有素的大型教师网络的指导下，培养一个轻量级的学生网络。互动教学作为一种有效的教学策略，在学校得到了广泛的应用，以激发学生的学习动机。在互动教学中，教师不仅提供知识，而且对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了交互式知识提炼（IAKD）来利用交互式教学策略进行有效的知识提炼。在提取过程中，教师网络和学生网络之间的
乱搭巴士·2023-01-12 13:32

【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization

代码地址：https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation摘要知识提炼（KD）旨在将繁琐的教师模型中的知识提炼为轻量级的学生模型。它的成功通常归功于教师模型提供的关于类别之间相似性的特权信息，从这个意义上说，只有强大的教师模型被部署在实践中教较弱的学生。在这项工作中，我们通过以下实验观察来挑战这一共同信念：1）除了承
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION

代码地址:https://github.com/jingyang2017/KD_SRRL摘要本文通过知识提炼解决了模型压缩的问题。我们主张采用一种优化学生网络倒数第二层的输出特征的方法，因此与表征学习直接相关。为此，我们首先提出了一种直接的特征匹配方法，它只关注优化学生的倒数第二层。其次，更重要的是，由于特征匹配没有考虑到手头的分类问题，我们提出了第二种方法，将表征学习和分类解耦，利用教师的预训练
乱搭巴士·2023-01-12 13:32

2020知识蒸馏 《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》论文笔记

论文笔记《ChannelDistillation:Channel-WiseAttentionforKnowledgeDistillation》摘要问题1.ChannelDistillation(CD)渠道蒸馏
星竹紫兰·2023-01-12 13:31

知识蒸馏 Knowledge distillation（学习笔记）

知识蒸馏概述蒸馏：把大的复杂的东西变成小的纯净的东西在知识蒸馏中大的模型为教师模型（teacher）臃肿集成牛逼复杂的小的为学生模型（student）小的精干的轻量化的这里有一个知识的迁移因为落地实现的终端边缘设备的算计十分有限所以急需将一个大的优秀的模型压缩成一个小巧精干的轻量化模型这张图它背后的含义是预训练的大模型的增长速率时很恐怖的比摩尔定律还大而我们小设备的算力提升是很受限的
：）�东东要拼命·2023-01-12 13:00

知识蒸馏论文翻译（5）—— Feature Normalized Knowledge Distillation for Image Classification（图像分类）

知识蒸馏论文翻译（5）——FeatureNormalizedKnowledgeDistillationforImageClassification（图像分类）用于图像分类的特征归一化知识蒸馏文章目录知识蒸馏论文翻译
~拾捌~·2023-01-12 09:49

ECCV 2022 | FedX: 在无监督联邦学习中进行知识蒸馏

©PaperWeekly原创·作者|张成蹊单位|Freewheel机器学习工程师研究方向|自然语言处理论文的立意是在联邦学习过程中，结合对比学习，用局部与全局的两种蒸馏方式来无监督地学习样本的向量表示。
PaperWeekly·2023-01-12 08:38

画质增强概述-3.2-AI增强实践之推理与部署

当然，本文不涉及在移动端的部署，我理解移动端模型部署很核心的工作是模型压缩(量化、枝剪和蒸馏)，这块我涉及不算很深入，只搞过一点量化和枝剪，就不展开描述了。
何亮-1108·2023-01-11 13:44

【学习】Meta Learning、

GD学习好的初始化参数学习学习率NAS寻找网络结构dataaugmentationSampleReweightingFew-shotImageClassification元学习与自我监督学习元学习和知识蒸馏元学习和领域适应元学习与终身学习一
Raphael9900·2023-01-11 10:28

屏蔽预训练模型的权重。 只训练最后一层的全连接的权重。_Bert模型压缩

bert模型压缩一般可以从架构改进，量化压缩和模型蒸馏三个角度考虑下面分三点来介绍工作。
weixin_39690972·2023-01-11 00:02

Learning Student-Friendly Teacher Networks for Knowledge Distillation论文阅读

本篇论文来自2021年NeurIPS，论文地址点这里一.介绍知识蒸馏是一种著名的技术，用于学习具有竞争性精度的紧凑深度神经网络模型，其中较小的网络(学生)被训练来模拟较大网络(教师)的表示。
编程龙·2023-01-10 19:48

Distillation-guided Image Inpainting 论文阅读笔记

这是ICCV的文章，但我只是随便读一下，记录一些可能以后会参考的机制网络结构图如下：主要就是用了两个网络，参考了知识蒸馏中教师-学生网络的方式，用完整图像encoder-decoder重建过程中的特征图来监督
sysu_first_yasuo·2023-01-10 15:18

AI关键组件 | 集成，知识蒸馏和蒸馏「AI核心算法」

关注：耕智能，深耕AI脱水干货作者：ZeyuanAllen-Zhu编译：ronghuaiyang报道：AI公园转载请联系作者训练好的模型，用自己蒸馏一下，就能提高性能，是不是很神奇，这里面的原理到底是什么呢
九三智能控v·2023-01-10 11:20

Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读

这篇论文从正则化方法可以提高网络的泛化能力这一点出发，提出了一个简单且有效的正则化方法——Self-KD，即自知识蒸馏。从作者所做的一系列实验可以看出来，Self-KD不仅在提高精度上面起到
PyBigStar·2023-01-10 11:19

Single-Domain Generalized Object Detection in Urban Scene(CVPR 22) 论文笔记

因此，我们提出了一种方法，即循环分离自我蒸馏，在没有领域相关注释(例如，领域标签
吃土男孩_·2023-01-10 11:19

PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient阅读笔记

https://arxiv.org/abs/2207.02039(二)Summary研究背景：在目标检测任务中KD发挥着压缩模型的作用，但是对于heterogeneousdetectors(异构)之间的蒸馏仍然
不知道叫啥好一点·2023-01-10 11:16

联邦学习——用data-free知识蒸馏处理Non-IID

《Data-FreeKnowledgeDistillationforHeterogeneousFederatedLearning》ICML2021最近出现了利用知识蒸馏来解决FL中的用户异构性问题的想法
联邦学习小白·2023-01-10 11:41

FedMD: Heterogenous Federated Learning via Model Distillation论文笔记

  本文提出使用迁移学习和知识蒸馏开发了一个联邦学习框架FedMD，此框架允许不同的客户端根据其计算能力设计不同的网络结构，并且保护数据集的隐私安全和模型的隐私安全条件下联合训练出一个模型。
Zoran_卓·2023-01-10 11:41

【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

【AAAI2021】零样本知识蒸馏：Data-FreeKnowledgeDistillationwithSoftTargetedTransferSetSynthesis论文地址：主要问题：主要思路：主要贡献
BIT可达鸭·2023-01-10 11:41

Knowledge Distillation论文阅读之（1）：Structured Knowledge Distillation for Semantic Segmentation

文章目录abstractIntroductionRelatedWorksemanticsegmentation（语义分割方面）Knowledgedistillation（知识蒸馏方面）Adversariallearning
暖仔会飞·2023-01-10 11:10

Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation

如果证明是有效的，这样的数据集实际上可以用来设计重要的、通常是强大的KD任务的基线，同时为我们节省了现有的无数据蒸馏方法所产生的合成转移集的大量开销。这对于文本/图像领域尤其如此，因为在该领
weixin_37958272·2023-01-10 11:10
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他