知识蒸馏第15页

深度学习领域专有名词的理解与释义

知识蒸馏（KnowledgeDistillation） 知识蒸馏就是想利用一个复杂的，精度高的网络（教师网络），来训练一个简单的网络（学生网络），使得学生网络用比较简单的网络结构，同样能够达到教师网络的效果

深视·2020-08-19 03:31

腾讯优图——分布式知识蒸馏损失改善人脸识别困难样本（附论文代码）

今天我们详细分析优图的“分布式知识蒸馏损失”应用在人脸识别领域，去较大程度改善了困难样本的技术，希望持续关注我们“计算机视觉研究院”！

计算机视觉研究院·2020-08-19 02:42

【文献阅读】将知识蒸馏用于视觉问答VQA的紧凑三重交互（T. Do等人，ICCV，2019，有代码）

一、背景文章题目：《CompactTrilinearInteractionforVisualQuestionAnswering》ICCV2019的一篇文章。文章下载地址：http://openaccess.thecvf.com/content_ICCV_2019/papers/Do_Compact_Trilinear_Interaction_for_Visual_Question_Answerin

全部梭哈迟早暴富·2020-08-18 07:26

【文献阅读】结合对抗网络和知识蒸馏，对多模态源的遥感图像分类（S. Pande等人，ICCV，2019）

AnAdversarialApproachtoDiscriminativeModalityDistillationforRemoteSensingImageClassification》遥感图像分类一直都是一个热门话题，这篇文章结合对抗网络和知识蒸馏来做遥感图像分类

全部梭哈迟早暴富·2020-08-18 07:26

【DKNN】Distilling the Knowledge in a Neural Network 第一次提出神经网络的知识蒸馏概念

原文链接小样本学习与智能前沿。在这个公众号后台回复“DKNN”，即可获得课件电子资源。文章已经表明，对于将知识从整体模型或高度正则化的大型模型转换为较小的蒸馏模型，蒸馏非常有效。在MNIST上，即使用于训练蒸馏模型的迁移集缺少一个或多个类别的任何示例，蒸馏也能很好地工作。对于Android语音搜索所用模型的一种深层声学模型，我们已经表明，通过训练一组深层神经网络实现的几乎所有改进都可以提炼成相同大

_Summer tree·2020-08-17 11:54

无训练数据压缩网络《Data-Free Learning of Student Networks》读后总结

读后总结前言文章主要内容与贡献提出了一个有效的无数据训练的办法有效的组合了GAN和教师-学生网络设计了适合于这篇文章中的GAN模型的总损失函数$L_{Total}$one-hot损失函数$L_{oh}$激活损失函数$L_{a}$生成图像的信息熵损失函数$L_{ie}$利用知识蒸馏将教师网络压缩为学生网络对多个

geek12138_·2020-08-17 11:23

pytorch学习笔记——知识蒸馏（14）

利用大型教师网络辅助小型学生网络进行训练的知识蒸馏方法如今已经被开始用于模型的压缩。

wuzhiyuan2000·2020-08-17 03:51

小全读论文《Learning without Memorizing》CVPR2019

小全读论文《LearningwithoutMemorizing》CVPR2019一、Motivation二、Approach注意力区域的特征生成（Generatingattentionmaps）注意力区域的知识蒸馏三

FatMigo·2020-08-15 21:10

系统学习NLP（三十二）--BERT、XLNet、RoBERTa、ALBERT及知识蒸馏

参考：https://zhuanlan.zhihu.com/p/84559048一.BERTBERT是一种基于TransformerEncoder来构建的一种模型，它整个的架构其实是基于DAE(DenoisingAutoencoder)的，这部分在BERT文章里叫作MaskedLanaugeModel（MLM)。MLM并不是严格意义上的语言模型，因为整个训练过程并不是利用语言模型方式来训练的。BE

Eason.wxd·2020-08-14 15:27

腾讯优图 | 分布式知识蒸馏损失改善困难样本

计算机视觉研究院·2020-08-13 14:05

ICCV 2019推荐Pytorch实现一种无需原始训练数据的模型压缩算法

背景大多数深层神经网络（CNN）往往消耗巨大的计算资源和存储空间为了将模型部署到性能受限的设备（如移动设备），通常需要加速网络的压缩现有的一些加速压缩算法，如知识蒸馏等，可以通过训练数据获得有效的结果。

imalg图像算法·2020-08-12 11:39

PaddleClas-SSLD知识蒸馏方法梳理（82.4%ResNet50系列模型养成之路）

简介PaddleClas是PaddlePaddle最近开源的图像分类代码库，里面包括了目前比较常用的分类模型，ResNet、HRNet、DenseNet、ResNeXt等，配置文件里也提供了这些模型的训练脚本，总共大概是117个模型，当然pretrainedmodel权重文件也都给出来了，github地址在这里：https://github.com/PaddlePaddle/PaddleClas模

Strangers_bye·2020-08-10 01:29

Knowledge Distillation 知识蒸馏详解

文章目录往期文章链接目录ShortcomingofnormalneuralnetworksGeneralizationofInformationKnowledgeDistillationAfewDefinitionsGeneralideaofknowledgedistillationTeacherandStudentTemperature&EntropyTrainingtheDistilModel

Jay_Tang·2020-08-09 17:24

知识蒸馏Knowledge Distillation论文汇总

FITNETS:HINTSFORTHINDEEPNETS论文链接该论文扩展了知识蒸馏的方法，student网络比teacher更深、更“瘦”，不仅使用teacher的输出作为训练student的softtargets

GillianZhu·2020-08-07 20:20

【论文阅读】Distilling the Knowledge in a Neural Network

论文链接参考博客知识蒸馏(knowledgedistillation)动机在机器学习中，我们倾向于使用非常相似的模型进行训练(train)和部署(depolyment)，尽管这两个阶段显然有不同的需求：

GillianZhu·2020-08-07 20:49

Distilling the Knowledge in a Neural Network 论文笔记

因此，本文主要做出了以下两点贡献：提出一种知识蒸馏（Knowle

ReBoRn88888·2020-08-06 13:46

知识蒸馏，teacher—student模型的思考

知识蒸馏，teacher—student模型的思考这个方向的学术源头是RichCaruana2014年的作品《DoDeepNetsReallyNeedtobeDeep?》

卷发何少·2020-08-06 13:55

知识蒸馏

论文：DistillingtheKnowledgeinaNeuralNetwork目前的深度学习仍然处于“数据驱动”的阶段，通常在模型训练的时候，仍然需要从巨大且冗余的数据中提取特征结构，且需要巨大的资源消耗，但是不考虑实时性要求；最后训练得到的模型大而笨重，但是模型预测精度较高。但是在实际应用中，有计算资源和延迟的限制，例如手机设备和芯片系统等等，那么要如何使得模型减重且精度不损失呢？对于应用到

陶将·2020-08-06 13:42

知识蒸馏：深入理解温度的作用

id=1598625949059208402&wfr=spider&for=pc之前看过一遍知识蒸馏，当时应该是理解了的，但是过了俩月又忘了……因此特开一帖，用最简单的语言解释！

惯懒高手·2020-08-06 13:04

Knowledge Distillation

zhangjf26·2020-08-06 13:08

理解知识蒸馏

《理解知识蒸馏》本文是对知识蒸馏方法在分类场景的应用来讨论的。

Cpp课代表·2020-08-06 13:08

Knowledge Distillation(知识蒸馏)

DoDeepNetsReallyNeedtobeDeep？虽然近年来的趋势如BigGAN，BERT等，动辄上亿参数，几乎就是数据驱动+算力的“暴力”结果。但同时，更加轻量级的升级版模型如ALBERT也能以更少的参数和架构持续刷榜，元学习（metalearning）和零样本学习（Zero-shotlearning），还有只需要个位数层数就能取得优异效果的GCN等，都似乎证明了“大道至简”。深度模型的

上杉翔二·2020-08-06 12:51

【DL】模型蒸馏Distillation

Hinton在NIPS2014[1]提出了知识蒸馏（KnowledgeDistillation）的概念，旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部署。简

段子手实习生·2020-08-06 12:13

知识蒸馏(Knowledge Distillation)详细深入透彻理解重点

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。

kyle1314608·2020-08-06 12:32

知识蒸馏（Knowledge Distilling）

1.参考资料，一个很好的KD的资料listhttps://github.com/dkozlov/awesome-knowledge-distillation一个中文的相关资料https://www.zhihu.com/question/333196499/answer/738197683一些找到的跟KD相关的资料https://github.com/lhyfst/knowledge-distill

ayz30868·2020-08-06 12:27

知识蒸馏论文的一些自己总结

本文只是对论文的一些总结，不关注于具体细节公式，主要是了解思想，如果有空我会专门的开博客对一些论文进行细节讲述，如果本文说明有问题的，欢迎联系我，欢迎指正。一.AttentionTransferPayingMoreAttentiontoAttention:ImprovingthePerformanceofConvolutionalNeuralNetworksviaAttentionTransfer

冰菓(笑)·2020-08-06 12:45

【阅读笔记】KDGAN: Knowledge Distillation with Generative Adversarial Networks

知识蒸馏(KD)的目标是训练一种轻量级分类器，能够在多标签学习资源受限的情况下提供精确的推理。分类器不是直接使用特征标签对，而是由教师进行训练，即这是一个高能力的模型，它的培训可能需要大量资源。

盏茶y·2020-08-06 12:40

知识蒸馏Knowledge Distillation

知识蒸馏是模型压缩的一个重要方法，本文简要介绍了什么是知识蒸馏。

CloudCver·2020-08-06 12:43

【转】Knowledge-Distillation 知识蒸馏论文集合

AwesomeKnowledge-Distillation博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.htmlAwesomeKnowledge-DistillationDifferentformsofknowledgeKnowledgefromlogitsKnowledgefrominter

Phoenixtree_Zhao·2020-08-06 12:25

知识蒸馏论文读书笔记

知识蒸馏这个名字非常高大上（不得不说大佬不仅想法清新脱俗，名字也起的情形脱俗啊）。如果直白地说老师学生模型，那就不酷了。

Uncle_Sugar·2020-08-06 12:19

知识蒸馏经典论文阅读

这篇Hinton大佬的DistillingtheKnowledgeinaNeuralNetwork，是知识蒸馏领域的开山之作，第一次引入了知识蒸馏的概念。

把球交给DerAx·2020-08-06 12:41

知识蒸馏（Distilling Knowledge ）的核心思想

我最近在阅读ICCV关于神经网络模型压缩与加速的文章，顺藤摸瓜阅读了Hinton等大佬们在这方面的开山巨作（DistillingtheKnowledgeinNeuralNetwork）。文章很有创意，做点笔记。文章针对的是分类问题，其主要工作解决两个问题：如何把大型网络压缩成小型网络？如何训练多个网络后融合模型以提高网络表现能力又不占用过大内存？（解决了第一个问题，也就解决了第二个问题）1硬标签和

木水_·2020-08-06 12:07

文献阅读：Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Under

0.背景机构：微软亚洲研究院NLP组与SDRG（微软雷德蒙德语音对话研究组）作者：XiaodongLiu、PengchengHe发布地方：arxiv面向任务：知识蒸馏论文地址：https://arxiv.org

JasonLiu1919·2020-08-06 12:07

Knowledge Distillation(1)——入门&开山之作

KnowledgeDistillation概述研究背景定义（知识蒸馏是什么？）

judgechen1997·2020-08-06 12:33

收藏 | 一文带你总览知识蒸馏，详解经典论文

「免费学习60+节公开课：投票页面，点击讲师头像」作者：凉爽的安迪来源|深度传送门（ID：deep_deliver）【导读】这是一篇关于【知识蒸馏】简述的文章，目的是想对自己对于知识蒸馏学习的内容和问题进行总结

AI科技大本营·2020-08-06 12:30

知识蒸馏在文本方向上的应用

知识蒸馏在文本方向上的应用完整项目代码在我的GitHub仓库下虽然说做文本不像图像对gpu依赖这么高，但是当需要训练一个大模型或者拿这个模型做预测的时候，也是耗费相当多资源的，尤其是BERT出来以后，不管做什么用

HoyTra0·2020-08-06 12:57

知识蒸馏paper分类整理(2014-2020)

AwesomeKnowledge-DistillationAwesomeKnowledge-DistillationDifferentformsofknowledgeKnowledgefromlogitsKnowledgefromintermediatelayersGraph-basedMutualInformationSelf-KDStructuredKnowledgePrivilegedInf

frankliu624·2020-08-03 05:13

【论文解读 ICMR 2020 | KMGCN】Fake News Detection via Knowledge-driven Multimodal GCN

ICMR2020论文链接：https://doi.org/10.1145/3372278.3390713关键词：假新闻检测；多模态；知识；图卷积文章目录1摘要2引言3方法3.1问题定义3.2整体框架3.3知识蒸馏

byn12345·2020-08-02 20:10

Knowledge Distillation(5)——Deep Mutual Learning

本篇博客开始，介绍知识蒸馏的第二类方法：改变学习方式，提高studentperfomance。

judgechen1997·2020-08-02 13:36

CVPR 2020 细粒度分类挑战赛冠军方案：数据增强+知识蒸馏，效果大幅提升

本文转载自机器之心。近日，支付宝天筭安全实验室在CVPRFGVC（细粒度视觉分类）workshop举办的植物病理学挑战赛（PlantPathologyChallenge）中夺冠。本文介绍了冠军队伍及其解决方案。CVPR（国际计算机视觉与模式识别会议）是由IEEE主办的一年一度的世界顶级计算机视觉学术性会议。大会包含多个workshop，以及对应的许多计算机视觉算法竞赛。其中FGVC（细粒度视觉分类

我爱计算机视觉·2020-07-31 20:37

神经网络剪枝，知识蒸馏，以及模型优化设计

一.神经网络压缩在如今人工智能的浪潮之下，深度学习在不少领域都取得了不错的成果。但是目前在边缘计算，物联网设备上的算力相比于我们的台式计算机还不太充足，我们在计算机上用于拟合的神经网络参数过多，不太适合运行在算力较弱的设备上，比如无人机，手机，平板电脑，自动驾驶汽车等等。因此我们需要将在计算机上训练好的神经网络通过某种技巧将其进行压缩，减少模型的参数，这样训练好的模型就可以迅速在这些边缘计算的设备

Geeksongs·2020-07-31 13:33

模型压缩综述：剪枝、量化、知识蒸馏

参考综述文章*2017-ASurveyofModelCompressionandAccelerationforDeepNeuralNetworks*2018-RecentAdvancesinEfficientComputationofDeepConvolutionalNeuralNetworks参考博客：https://www.sohu.com/a/232047203_473283https://

Fannie_Peng·2020-07-30 19:04

ACL 2020 | 面向序列标注任务的“集百家所长”多语种模型来了！

Structure-LevelKnowledgeDistillationForMultilingualSequenceLabeling》，论文针对在自然语言处理中的序列标注任务中，多语种模型的表现不及各个语种单独的模型做出了改进，通过知识蒸馏的手段

喜欢打酱油的老鸟·2020-07-29 12:56

【DKNN】Distilling the Knowledge in a Neural Network 第一次提出神经网络的知识蒸馏概念

原文链接小样本学习与智能前沿。在这个公众号后台回复“DKNN”，即可获得课件电子资源。文章已经表明，对于将知识从整体模型或高度正则化的大型模型转换为较小的蒸馏模型，蒸馏非常有效。在MNIST上，即使用于训练蒸馏模型的迁移集缺少一个或多个类别的任何示例，蒸馏也能很好地工作。对于Android语音搜索所用模型的一种深层声学模型，我们已经表明，通过训练一组深层神经网络实现的几乎所有改进都可以提炼成相同大

Joselyn·2020-07-29 09:00

《Search to Distill: Pearls are Everywhere but not the Eyes》论文阅读

https://arxiv.org/abs/1911.09074CVPROralMotivation知识蒸馏一般是由teacher，student两个网络组成，teacher一般是ResNet152这样的大模型

Loy_Fan·2020-07-28 21:25

MobileBERT：一个在资源有限设备上使用的BERT模型

知识蒸馏成功地实现了这一点，在一个例子中，教师模型的性能的96%保留在了一个小7倍的模型中。然而，在设计教师模型时，知识的提炼仍然被认为是事后

ronghuaiyang·2020-07-28 13:56

语义分割该如何走下去(不限于语义分割)

看来看去真没啥突破：（1）手动设计网络结构->NAS搜索；（2）固定感受野->引入空间注意力做感受野自动调节；（3）效果提升不上去->换个思路做实时分割来对比结果；（4）自监督太热门->引入弱监督（GAN,知识蒸馏

学习CV的菜鸟·2020-07-28 08:49

神经网络剪枝，知识蒸馏，以及模型优化设计

一.神经网络压缩在如今人工智能的浪潮之下，深度学习在不少领域都取得了不错的成果。但是目前在边缘计算，物联网设备上的算力相比于我们的台式计算机还不太充足，我们在计算机上用于拟合的神经网络参数过多，不太适合运行在算力较弱的设备上，比如无人机，手机，平板电脑，自动驾驶汽车等等。因此我们需要将在计算机上训练好的神经网络通过某种技巧将其进行压缩，减少模型的参数，这样训练好的模型就可以迅速在这些边缘计算的设备

Geeksongs·2020-07-25 14:00

BERT家族：DistillBERT

cheaperandlighter》论文地址：https://arxiv.org/pdf/1910.01108作者/机构：Huggingface年份：2019.10DistillBert是在Bert的基础上用知识蒸馏技术训练出来的小型化

姆爷·2020-07-16 05:04

自动模型压缩与架构搜索：飞桨PaddleSlim最全解读

因此，模型小型化技术成为最近几年学术界和工业界研究的热点，模型小型化技术也从最开始的网络剪枝、知识蒸馏、参数量化等发展为最新的神经网络架构搜索（NAS）和自动模型压缩等技术。

飞桨PaddlePaddle·2020-07-14 05:30

推荐频道

知识蒸馏

深度学习领域专有名词的理解与释义

腾讯优图——分布式知识蒸馏损失改善人脸识别困难样本（附论文代码）

【文献阅读】将知识蒸馏用于视觉问答VQA的紧凑三重交互（T. Do等人，ICCV，2019，有代码）

【文献阅读】结合对抗网络和知识蒸馏，对多模态源的遥感图像分类（S. Pande等人，ICCV，2019）

【DKNN】Distilling the Knowledge in a Neural Network 第一次提出神经网络的知识蒸馏概念

无训练数据压缩网络《Data-Free Learning of Student Networks》读后总结

pytorch学习笔记——知识蒸馏（14）

小全读论文《Learning without Memorizing》CVPR2019

系统学习NLP（三十二）--BERT、XLNet、RoBERTa、ALBERT及知识蒸馏

腾讯优图 | 分布式知识蒸馏损失改善困难样本

ICCV 2019推荐Pytorch实现一种无需原始训练数据的模型压缩算法

PaddleClas-SSLD知识蒸馏方法梳理（82.4%ResNet50系列模型养成之路）

Knowledge Distillation 知识蒸馏详解

知识蒸馏Knowledge Distillation论文汇总

【论文阅读】Distilling the Knowledge in a Neural Network

Distilling the Knowledge in a Neural Network 论文笔记

知识蒸馏，teacher—student模型的思考

知识蒸馏

知识蒸馏：深入理解温度的作用

Knowledge Distillation

理解知识蒸馏

Knowledge Distillation(知识蒸馏)

【DL】模型蒸馏Distillation

知识蒸馏(Knowledge Distillation)详细深入透彻理解重点

知识蒸馏（Knowledge Distilling）

知识蒸馏论文的一些自己总结

【阅读笔记】KDGAN: Knowledge Distillation with Generative Adversarial Networks

知识蒸馏Knowledge Distillation

【转】Knowledge-Distillation 知识蒸馏论文集合

知识蒸馏论文读书笔记

知识蒸馏经典论文阅读

知识蒸馏（Distilling Knowledge ）的核心思想

文献阅读：Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Under

Knowledge Distillation(1)——入门&开山之作

收藏 | 一文带你总览知识蒸馏，详解经典论文

知识蒸馏在文本方向上的应用

知识蒸馏paper分类整理(2014-2020)

【论文解读 ICMR 2020 | KMGCN】Fake News Detection via Knowledge-driven Multimodal GCN

Knowledge Distillation(5)——Deep Mutual Learning

CVPR 2020 细粒度分类挑战赛冠军方案：数据增强+知识蒸馏，效果大幅提升

神经网络剪枝，知识蒸馏，以及模型优化设计

模型压缩综述：剪枝、量化、知识蒸馏

ACL 2020 | 面向序列标注任务的“集百家所长”多语种模型来了！

【DKNN】Distilling the Knowledge in a Neural Network 第一次提出神经网络的知识蒸馏概念

《Search to Distill: Pearls are Everywhere but not the Eyes》论文阅读

MobileBERT：一个在资源有限设备上使用的BERT模型

语义分割该如何走下去(不限于语义分割)

神经网络剪枝，知识蒸馏，以及模型优化设计

BERT家族：DistillBERT

自动模型压缩与架构搜索：飞桨PaddleSlim最全解读