蒸馏）第19页

【WACV 2021】零样本目标检测知识蒸馏：Data-free Knowledge Distillation for Object Detection

【WACV2021】零样本目标检测知识蒸馏：Data-freeKnowledgeDistillationforObjectDetection论文地址：主要问题：主要思路：具体实现：数据生成：边框采样：可微的数据增强

BIT可达鸭·2023-01-10 11:10

论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）

作者认为现有的知识蒸馏（KnowledgeDistillation，K-D）的方法大多都需要server有一批代理数据（proxydata），协助K-D完成知识传授的过程，这有时候是做不到的。

Shawn2134123·2023-01-10 11:09

知识对话2021《Unsupervised Knowledge Selection for Dialogue Generation》论文解读

反思：核心技术点有distancesupervision、知识蒸馏方面需要恶补一下。模型架构图，画的有点…还

曾阿牛nlper·2023-01-09 17:13

DeiT：Training data-efficient image transformers & distillation through attention

这篇文章主要是通过一些训练策略和知识蒸馏来提升模型的训练速度和性能效果。

暖风️·2023-01-09 08:20

李宏毅机器学习2022春季-第十三课和HW13

第十三课主要内容是Networkcompression(模型压缩)，课程中介绍了五种模型压缩的方法：NetworkPruning（模型剪枝）,KnowledgeDistillation（知识蒸馏）,ParameterQuan

机器学习手艺人·2023-01-09 06:55

HW13 Network Compression网络压缩

文章目录一、任务描述1、介绍知识蒸馏2、介绍架构设计二、实验1、simplebaselineconfigs结构设计训练2、mediumbaselineconfigs3、strongbaselineconfigsReLu

Raphael9900·2023-01-09 06:47

机器学习-27-Network Compression( 网络压缩)

INTRODUCTIONWhyPruningLotteryTicketHypothesis(大乐透假说)RethinkingtheValueofNetworkPruningPracticalIssueKnowledgeDistillation(知识蒸馏

迷雾总会解·2023-01-08 09:15

2021李宏毅机器学习笔记--13 Network Compression

LotteryTicketHypothesis)1.4RethinkingtheValueofNetworkPruning1.5PracticalIssue二、KnowledgeDistillation（知识蒸馏

guoxinxin0605·2023-01-08 09:41

【机器学习】有监督、无监督、自监督、半监督、弱监督的区别

通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这个模型对（较大规模的）无标签数据预测伪标签，作为Student模型的训练数据；知识蒸馏。

秋天的波·2023-01-08 07:06

【人人可学的AI】策略蒸馏

什么是蒸馏？“蒸馏”这个词本身是指通过蒸汽使液体中溶解的固体分子或溶液分离的过程。在化学、炼油等领域，蒸馏通常用于分离混合物中的不同成分。

欧阳枫落·2023-01-07 21:53

【学习】网络压缩：知识蒸馏、参数量化、动态计算，PPO

文章目录一、知识蒸馏KnowledgeDistillation二、参数量化结构设计:深度方向可分卷积DepthwiseSeparableConvolution1、DepthwiseConvolution

Raphael9900·2023-01-07 08:19

给我推荐20个比较流行的知识蒸馏模型/方法/源码

源代码杀手·2023-01-06 19:09

红酒产地预测问题

样本数178，每个样本表示1瓶红酒，13个特征，如红酒颜色、蒸馏度等。类标签：3个。导入数据，利用Softmax回归算法预测红酒产地，并输出accuracy,画出ROC曲线。

汪程序猿·2023-01-06 14:47

【模型压缩】通道剪枝《Pruning Filters For Efficient ConvNets》论文翻译

实现效果：1.VGG-1634%加速2.ResNet-11038%加速概述：在模型压缩的方法中，包括剪枝，量化，多值网络，模型蒸馏等。

姚路遥遥·2023-01-06 14:35

AAAI 2023 | 动态温度超参蒸馏新方法

©作者|ZhengLi单位|南开大学一句话概括：相对于静态温度超参蒸馏，本文提出了简单且高效的动态温度超参蒸馏新方法。

PaperWeekly·2023-01-06 10:01

【论文笔记_知识蒸馏_数据增强_2022】When Chosen Wisely, More Data Is What You Need

WhenChosenWisely,MoreDataIsWhatYouNeed:AUniversalSample-EfficientStrategyForDataAugmentation摘要众所周知，数据增强（DA）可以提高深层神经网络的泛化能力。大多数现有的DA技术天真地添加一定数量的增强样本，而不考虑这些样本的质量和增加的计算成本。为了解决这个问题，一些最先进的DA方法采用的一种常见策略是，在训

乱搭巴士·2023-01-06 09:24

蒸馏学习框架小抄(1)

因此学习一些蒸馏技术就成为一些算法工程师必备的技能点。

Andy Dennis·2023-01-06 02:04

#今日论文推荐#ECCV 2022 | 清华&字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏

wwwsxn·2023-01-06 02:33

MGD【知识蒸馏】【expand】

ECCV2022老师网络通过指导掩码特征的重构，提升学生网络的表示能力（类似代理任务）。使用部分像素通过简单块来还原教师的全部特征，那么使用过的像素的表征能力也可以提高。模型原理nn.MSELoss(reduction='sum'):均方误差，sum两个tensor对应位置像素求差再平方，再将得到所有位置的像素求和得到一个值。【mean的话就不求和，而是求平均。none的话只在对应位置求差再平方后

太简单了·2023-01-06 02:03

文献阅读记录——Masked Generative Distillation

先给出论文和代码的链接：https://github.com/yzd-v/MGD这篇论文讲的是一个通用于各种视觉任务的知识蒸馏方法，因为它属于特征模仿类的知识蒸馏方法。

一名奇怪的玩家·2023-01-06 02:03

ECCV 2022 | 适用于分类，检测，分割的生成式知识蒸馏开源

作者丨美索不达米亚平原@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/539496128编辑丨极市平台导读本文主要介绍ECCV2022关于知识蒸馏的工作:MaskedGenerativeDistillation

Tom Hardy·2023-01-06 02:02

ECCV 2022 | MGD：适用于分类、检测和分割的生成式知识蒸馏

©作者|美索不达米亚平原单位|清华大学、字节跳动本文介绍我们ECCV2022关于知识蒸馏的工作:MaskedGenerativeDistillation，方法适用于分类，检测与分割任务。

PaperWeekly·2023-01-06 02:02

ECCV 2022 | 清华&字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏

/CV重磅干货，第一时间送达作者：美索不达米亚平原|已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/539496128本文介绍我们ECCV2022关于知识蒸馏的工作

Amusi（CVer）·2023-01-06 02:31

【知识蒸馏】Masked Generative Distillation

LiZ,ShaoM,etal.MaskedGenerativeDistillation[J].arXivpreprintarXiv:2205.01529,2022.代码地址论文地址论文翻译一、摘要知识蒸馏已成功应用于各种任务

杨立青101·2023-01-06 02:01

【深度学习】神经网络中的蒸馏技术，从Softmax开始说起

作者：SayakPaul编译：ronghuaiyang导读从各个层次给大家讲解模型的知识蒸馏的相关内容，并通过实际的代码给大家进行演示。

风度78·2023-01-05 22:52

知识蒸馏算法和代码（Pytorch）笔记分享，一个必须要了解的算法

一、知识蒸馏算法理论讲解知识蒸馏说真的还是挺重要的，当时看论文的时候，总是会出现老师网络和学生网络，把我说的一脸蒙，所以自己就进行了解了一下，做了一些笔记和大家一起分享！

一名不想学习的学渣·2023-01-05 16:26

知识蒸馏7：知识蒸馏代码详解

代码说明与yolov5-v6.1代码的区别：data/hyps/hyp.scratch-low-distillation.yaml（添加的文件，修改hyp.scratch-low.yaml得到）utils/loss.py添加一个函数compute_distillation_output_losstrain_distillation.py（添加的文件，修改train.py得到）hyp.scratch

@BangBang·2023-01-05 16:24

Similarity-Preserving Knowledge Distillation论文阅读

今天分享一篇2020年ICCV关于知识蒸馏的论文，论文地址点这里一.介绍知识蒸馏是一种用于监督“学生”神经网络训练的通用技术，它通过捕获和转移训练过的“教师”网络的知识来实现。

编程龙·2023-01-05 16:23

蒸馏网络与防御蒸馏

来自论文《TowardsEvaluatingtheRobustnessofNeuralNetworks》Distillationwasinitiallyproposedasanapproachtoreducealargemodel(theteacher)downtoasmallerdistilledmodel.Atahighlevel,distillationworksbyfirsttrainin

阳阳鸭·2023-01-05 16:52

关于Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks的理解

为了防御之前提出的FGSM和JSMA的攻击方式，作者根据之前hinton提出的蒸馏学习的方式，再此基础上稍作修改得到了防御蒸馏模型，并理论推导了防御有效性的原因。

kearney1995·2023-01-05 16:49

【论文笔记】（防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

有关蒸馏(Distillation)的论文：(2006)ModelCompression(2014)DoDeepNetsReallyNeedtobeDeep?

Set_____·2023-01-05 16:47

知识蒸馏综述：代码整理

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编者荐语收集自RepDistiller中的蒸馏方法，尽可能简单解释蒸馏用到的策略，并提供了实现源码。

小白学视觉·2023-01-05 15:13

网络轻量化 - 知识蒸馏（knowledge distillation）

原文：《DistillingtheKnowledgeinaNeuralNetwork》目录前期知识集成模型（EnsembleModels）BaggingBoosting缺点知识蒸馏思想算法部分知识蒸馏方法引入温度参数

Bro_Jun·2023-01-05 15:11

神经网络中的蒸馏技术，从Softmax开始说起

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：SayakPaul编译：ronghuaiyang导读从各个层次给大家讲解模型的知识蒸馏的相关内容，并通过实际的代码给大家进行演示。

ronghuaiyang·2023-01-05 10:19

ECCV 2022 | 登顶SemanticKITTI！基于二维先验辅助的激光雷达点云语义分割

不同于先前的多模态方法（训练和推理阶段均需要成对的图像和点云数据作为输入），该方法仅在训练阶段利用额外的图像数据，从相机数据中获取更丰富的语义和结构信息，并将其提炼蒸馏至三维语义分割网络中。

TechBeat人工智能社区·2023-01-03 12:36

《Anomaly Detection via Reverse Distillation from One-Class Embedding》论文阅读笔记

作者：HanqiuDengXingyuLi出自：CVPR2022Abstract：作者提出了一种由教师编码器和学生解码器组成的T-S模型，并引入了一种简单有效的“逆向蒸馏”范式。

m0_46314815胡说养的猪·2023-01-03 11:32

Knowledge Distillation for BERT Unsupervised Domain Adaptation

KnowledgeDistillationforBERTUnsupervisedDomainAdaptation运用BERT模型和distillation技术实现源域到目标域的知识迁移，提出了一种简单而有效的无监督域适应方法，它将对抗性区分域适应（ADDA）框架与知识相结合蒸馏

VLU·2023-01-03 09:24

使用huggingface如何保存部分BERT参数

文章目录题目实现方法1方法2如何对其进行部分参数初始化保存参数加载参数保存模型加载模型题目使用huggingface如何保存部分BERT参数实现在知识蒸馏中需要对bert-base的12层transformer

365JHWZGo·2023-01-02 15:29

论文阅读-TNNLS2021-Elastic Knowledge Distillation by Learning from Recollection

训练过程中历史记忆中的有效信息，来帮助模型学习；recollection构建和使用；不同capacity和不同训练阶段来建立不同的recollection；similarity-basedelasticKD算法(弹性知识蒸馏

focus_clam·2023-01-01 12:32

降低神经网络模型复杂度的方法总结

二、网络模型压缩方法主要分为两种：前端压缩和后端压缩前端压缩：是指不改变网络结构的压缩技术，如知识蒸馏，紧凑模型设计，滤波器层面的剪枝后端压缩：尽可能的减少模型的大小。未加限制的剪枝，参数量化以及二值

CVplayer111·2022-12-31 09:19

TinyBERT: Distilling BERT for Natural Language Understanding（2019-9-23）

TinyBERT是由华中科技大学和华为诺亚方舟实验室联合提出的一种针对transformer-based模型的知识蒸馏方法，以BERT为例对大型预训练模型进行研究。四层结构的TinyBERT4Tiny

不负韶华ღ·2022-12-31 09:42

TinyBERT论文及代码详细解读

简介TinyBERT是知识蒸馏的一种模型，于2020年由华为和华中科技大学来拟合提出。

Weiyaner·2022-12-31 09:12

《TinyBERT: Distilling BERT for Natural Language Understanding》（ICLR-2020在审）论文阅读

1、Introduction提出了一种新的Transformer蒸馏方法。提出了一个两段式的学习

筱踏云·2022-12-31 09:41

【模型蒸馏】TinyBERT: Distilling BERT for Natural Language Understanding

总述TinyBert主要探究如何使用模型蒸馏来实现BERT模型的压缩。

lwgkzl·2022-12-31 09:40

NLP预训练模型6 -- 模型轻量化（ALBERT、Q8BERT、DistillBERT、TinyBERT等）

压缩和加速在算法层面，大体分为结构设计、量化、剪枝、蒸馏等。本文从这四个方面分析怎么实现BERT轻量化，从而实现BERT模型压缩和加速。

anshiquanshu·2022-12-31 09:09

论文阅读《Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection》

论文地址：https://arxiv.org/abs/2103.17115代码地址：https://github.com/hzhupku/DCNet目录1、存在的问题2、算法简介3、算法细节3.1、密集关系蒸馏模块

薛铁钢·2022-12-30 10:40

知识蒸馏原理与PVKD论文阅读

文章目录知识蒸馏（Distillingtheknowledge）1、基础概念2、网络模型与损失函数PVKD（Point-to-VoxelKnowledgeDistillationforLiDARSemanticSegmentation

昼行plus·2022-12-30 08:17

知识蒸馏（Knowledge Distillation）

知识蒸馏是做什么的？

琉璃幻·2022-12-30 08:46

知识蒸馏原理

文章目录0.知识蒸馏（模型压缩的一种方法）1.蒸馏2.为什么要蒸馏3.知识的表示与迁移4.蒸馏温度T5.知识蒸馏过程6.知识蒸馏的应用场景7.知识蒸馏背后的机理8.为什么用softtargets而不用labelsmoothing

哈喽天空·2022-12-30 08:09

知识蒸馏DEiT算法实战：使用RegNet蒸馏DEiT模型

Teacher模型步骤导入需要的库定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和Loss学生网络步骤导入需要的库定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和Loss蒸馏学生网络步骤导入需要的库定义训练和验证函数定义全局参数图像预处理与增强读取数据设置模型和

AI浩·2022-12-30 00:54

推荐频道

蒸馏）