distillation

神经网络模型压缩之Knowledge Distillation

神经网络模型压缩之KnowledgeDistillation1.Background随着深度学习理论的普及和PC计算能力的提高,NeuralNetwork也日益趋于复杂化–越来越深和越来越大,比如VGG系列,深度均在10层以上,残差网络的深度更是从数十到一百以上.复杂的网络模型带来的是超强的规则学习能力,虽然以现在动辄几十或上百多机GPU并行的计算能力而言,这样的巨大模型并不是拦路虎,但是考虑到当
rtygbwwwerr·2020-08-10 00:13

Knowledge Distillation 知识蒸馏详解

文章目录往期文章链接目录ShortcomingofnormalneuralnetworksGeneralizationofInformationKnowledgeDistillationAfewDefinitionsGeneralideaofknowledgedistillationTeacherandStudentTemperature&EntropyTrainingtheDistilModel
Jay_Tang·2020-08-09 17:24

知识蒸馏Knowledge Distillation论文汇总

FITNETS:HINTSFORTHINDEEPNETS论文链接该论文扩展了知识蒸馏的方法，student网络比teacher更深、更“瘦”，不仅使用teacher的输出作为训练student的softtargets，而且使用teacher学到的中间表示(intermediaterepresentations)作为hint，改进学生的训练过程和最终表现。更深的模型泛化性能更好，使这些模型变得更瘦有
GillianZhu·2020-08-07 20:20

基于Knowledge Distillation的增量学习论文学习（之五）——Large Scale Incremental Learning

这是CVPR2019的论文。旨在解决大规模增量学习的问题。显然，作者在论文中主要解决的问题是大规模数据，首先理解下作者说的“大规模”增量学习是多大？从下图作者的实验结果可以看出，作者考量的，是在类别数发生几十甚至上百个的增加时算法的性能，事实上，作者展示的例子也显示，在类别总数100以内时，作者的方法相比原始LwF提升有限，但在类别总数达到上千甚至上万时，作者的方法显著优于现有算法。作者总结增量学
azy1988·2020-08-06 13:41

Knowledge Distillation by On-the-Fly Native Ensemble论文解读

1.网络结构：Gate为全连接网络，用来学习哪个网络更重要。目前利用全连接网络选择网络部件重要性的方法很流行。“三个臭皮匠顶个诸葛亮？”，感觉很像bagging方法。2.损失函数：训练时softmax都有温度T=3蒸馏，测试时就恢复T=1。最终的Loss第一项代表各个分支的损失，第二项代表最后Teacher的损失，第三项代表各分支和Teacher的KL散度。3.测试情况我的测试结果：测试数据集：c
snp的p·2020-08-06 13:03

Knowledge Distillation

从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现）2014-NIPS-DoDeepNetsReallyNeedtobeDeep?论文连接：点
zhangjf26·2020-08-06 13:08

Knowledge Distillation(知识蒸馏)

DoDeepNetsReallyNeedtobeDeep？虽然近年来的趋势如BigGAN，BERT等，动辄上亿参数，几乎就是数据驱动+算力的“暴力”结果。但同时，更加轻量级的升级版模型如ALBERT也能以更少的参数和架构持续刷榜，元学习（metalearning）和零样本学习（Zero-shotlearning），还有只需要个位数层数就能取得优异效果的GCN等，都似乎证明了“大道至简”。深度模型的
上杉翔二·2020-08-06 12:51

【DL】模型蒸馏Distillation

过去一直follow着transformer系列模型的进展，从BERT到GPT2再到XLNet。然而随着模型体积增大，线上性能也越来越差，所以决定开一条新线，开始follow模型压缩之模型蒸馏的故事线。Hinton在NIPS2014[1]提出了知识蒸馏（KnowledgeDistillation）的概念，旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部署。简
段子手实习生·2020-08-06 12:13

知识蒸馏(Knowledge Distillation)详细深入透彻理解重点

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作:论文链接chrome-extension://ibllepbpahcoppkjjllbabhnigcbffpi/content/web/viewer.html?file=https%3A%2F%2Farxiv.org%2Fpdf%2
kyle1314608·2020-08-06 12:32

Knowledge Distillation(2)——FitNets: Hints for Thin Deep Nets

概述在Hinton教主挖了KnowledgeDistillation这个坑后，另一个大牛Bengio立马开始follow了，在ICLR2015发表了文章FitNets:HintsforThinDeepNets有一个背景是，可能那时候残差网络还没出来，deeper网络不好优化，所以teacher没那么深，而利用teacher的hint辅助训练student，可以把student网络做的更深：moti
judgechen1997·2020-08-06 12:26

知识蒸馏（Knowledge Distilling）

1.参考资料，一个很好的KD的资料listhttps://github.com/dkozlov/awesome-knowledge-distillation一个中文的相关资料https://www.zhihu.com
ayz30868·2020-08-06 12:27

【阅读笔记】KDGAN: Knowledge Distillation with Generative Adversarial Networks

知识蒸馏(KD)的目标是训练一种轻量级分类器，能够在多标签学习资源受限的情况下提供精确的推理。分类器不是直接使用特征标签对，而是由教师进行训练，即这是一个高能力的模型，它的培训可能需要大量资源。这种方法训练的分类器的精度通常不是理想的，因为很难从教师那里学习到真实的数据分布。另一种方法是在类似于生成对抗性网络(GAN)的二人博弈中，对分类器进行对抗性训练，以保证分类器在博弈均衡状态下学习到真实的数
盏茶y·2020-08-06 12:40

知识蒸馏Knowledge Distillation

知识蒸馏是模型压缩的一个重要方法，本文简要介绍了什么是知识蒸馏。知识蒸馏KnowledgeDistillation1.什么是知识蒸馏我浅谈一些我的看法，详细内容可以参考这篇文章[https://zhuanlan.zhihu.com/p/90049906]简单来说，就是我们一般训练模型时，可能为了有一个好的效果，就会加大网络深度，或者用一些复杂的网络，这样参数量就会好大…那么这么一个模型怎么弄到移动
CloudCver·2020-08-06 12:43

【转】Knowledge-Distillation 知识蒸馏论文集合

AwesomeKnowledge-Distillation博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.htmlAwesomeKnowledge-DistillationDifferentformsofknowledgeKnowledgefromlogitsKnowledgefrominter
Phoenixtree_Zhao·2020-08-06 12:25

文献阅读：Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Under

0.背景机构：微软亚洲研究院NLP组与SDRG（微软雷德蒙德语音对话研究组）作者：XiaodongLiu、PengchengHe发布地方：arxiv面向任务：知识蒸馏论文地址：https://arxiv.org/abs/1904.09482论文代码：https://github.com/namisan/mt-dnn0.摘要尽管集成学习能够提升模型性能，且目前已被广泛地应用在NLU任务中，不过，集成
JasonLiu1919·2020-08-06 12:07

Knowledge Distillation(1)——入门&开山之作

开山之作1.Introduction2.Distillation3.PreliminaryexperimentsonMNIST其他论文研究背景对于机器学习的模型，我们往往在训练和部署时使用着极其相似的模型
judgechen1997·2020-08-06 12:33

深度学习-- > NLP -- > improving multi-task deep neural networks via knowledge distillation for natural

博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次总结和分享一篇大佬推荐看的论文improvingmulti-taskdeepneuralnetworksviaknowledgedistillationfornaturallanguageunderstanding，论文链接MT-DNN-KD动机和创新点集成学习的方
村头陶员外·2020-08-06 12:57

模型蒸馏开山作：Distilling the Knowledge in a Neural Network

在神经网络中蒸馏知识Abstract1Introduction2Distillation2.1Matchinglogitsisaspecialcaseofdistillation3PreliminaryexperimentsonMNIST5Trainingensemblesofspecialistsonverybigdatasets5.1TheJFTdataset5.2SpecialistMode
三重极简·2020-08-06 12:49

Cross Modal Distillation for Supervision Transfer

Abstract本文关注点是对图片的不同模态，做监督迁移学习。两种不同的模态，一种有大量的标注样本，一种没有。将从标注过样本的模态中学习得到的特征作为监督信号，用于无标注样本模态的特征学习。此方案能够对无标注信息的模态学习到很好的特征，也可以用于只含有少量标注样本的新模态的预训练。文章做了RGB图片（labeled）到depth（unlabeled）和opticalflow（unlabeled）图
弓如霹雳弦惊·2020-08-03 12:22

Knowledge Distillation(5)——Deep Mutual Learning

之前都是对knowledge重新定义，衍生出的knowledgedistillation的变体模型。本篇博客开始，介绍知识蒸馏的第二类方法：改变学习方式，提高studentperfomance。DeepMutualLearningCVPR2018概述MethodModelOptimisationExperiments概述本文核心idea是，没有teacher，一系列student之间相互学习。本质
judgechen1997·2020-08-02 13:36

BERT 瘦身之路：Distillation，Quantization，Pruning

很多外链被微信给吃掉了，点击阅读原文查看。自BERT放出，各家多有改进，融入更多其他方面知识，加入更多训练数据，更复杂训练技巧，花样百出。但鉴于昂贵的训练成本，大多人也就只能看看而已，之后用开源出模型，想着怎么把它用起来。而即使如此，BERT家族庞大体积也让进行实时推理时，需过大空间，同时速度也会比较慢。一般线下玩玩尚好，如若想将它放入线上，作为产品。那么就需要对BERT进行减肥，让它体量变小，速
Congqing He·2020-07-14 11:02

微调预训练模型的新姿势——自集成和自蒸馏

转载来源：https://zhuanlan.zhihu.com/p/133804801论文：ImprovingBERTFine-TuningviaSelf-EnsembleandSelf-Distillation
郝伟老师的技术博客·2020-07-09 17:53

【Distill 系列：三】On the Efficacy of Knowledge Distillation

https://arxiv.org/pdf/1910.01348.pdfteacher不是性能越高越好（这个我实验验证得到的结果一致）teacher训练中earlystop（未尝试），蒸馏中earlystop（我这里不work）有利于提高蒸馏效果Method一个潜意识的猜想：性能越高的teacher的蒸馏效果越好可以看到，随着teacher模型变大，蒸馏的student性能并没有依次提高作者提出了
鹿鹿最可爱·2020-07-07 21:59

（笔记）通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION

（笔记）ModelCompressionviaDistillationandQuantization（笔记）ModelCompressionviaDistillationandQuantization原文链接：代码：摘要算法一：加入知识蒸馏loss的量化训练算法二：训练量化集p效果原文链接：https://arxiv.org/abs/1802.05668代码：https://github.com/
yingpeng_zhong·2020-07-06 10:35

知识蒸馏（Distillation）

蒸馏神经网络取名为蒸馏（Distill），其实是一个非常形象的过程。我们把数据结构信息和数据本身当作一个混合物，分布信息通过概率分布被分离出来。首先，T值很大，相当于用很高的温度将关键的分布信息从原有的数据中分离，之后在同样的温度下用新模型融合蒸馏出来的数据分布，最后恢复温度，让两者充分融合。这也可以看成Prof.Hinton将这一个迁移学习过程命名为蒸馏的原因。蒸馏神经网络想做的事情，本质上更接
weixin_30539625·2020-07-05 21:59

论文笔记：蒸馏网络（Distilling the Knowledge in Neural Network）

DistillingtheKnowledgeinNeuralNetworkGeoffreyHinton,OriolVinyals,JeffDeanpreprintarXiv:1503.02531,2015NIPS2014DeepLearningWorkshop简单总结主要工作（What）“蒸馏”（distillation
weixin_30274627·2020-07-05 20:44

知识蒸馏（Distillation）简介

1.介绍知识蒸馏最早出自于论文“DistillingtheKnowledgeinaNeuralNetwork”，作者是深度学习泰斗GeofreyHinton，在人工智能方向上，有公认的四大天王，见下图，另外，博主也算是吴恩达的学生，从一个门外汉看他的视频一步一步的走上了算法工程师的岗位，建议有这方面兴趣的人，可以去看他的视频，比培训班的视频不知道要强多少。2.模型结构第一步：训练大模型（teach
时光碎了天·2020-07-05 18:02

AutoML论文笔记（七）Blockwisely Supervised NAS with Knowledge Distillation：基于蒸馏学习的区块自适应NAS算法

文章题目：BlockwiselySupervisedNeuralArchitectureSearchwithKnowledgeDistillation链接：linkhttps://arxiv.org/abs/1911.13053会议期刊：CVPR2020论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容神经网络搜索技术（NAS）的迅速
霸王龙Alvin·2020-07-04 23:14

知识蒸馏（Knowledge Distillation）的Pytorch实现以及分析

知识蒸馏（KnowledgeDistillation）的概念由Hinton大神于2015年在论文《DistillingtheKnowledgeinaNeuralNetwork》中提出，论文见：https://arxiv.org/abs/1503.02531。此方法的主要思想为：通过结构复杂、计算量大但是性能优秀的教师神经网络，对结构相对简单、计算量较小的学生神经网络进行指导，以提升学生神经网络的性
小石学CS·2020-06-26 09:37

知识蒸馏(Knowledge Distillation)、半监督学习(semi-supervised learning)以及弱监督学习(weak-supervised learning)

一.知识蒸馏1.知识蒸馏（1）首先，我先强调一下蒸馏学习其实本质是模型压缩！模型压缩！模型压缩！S模型有的精度高于T模型，有的低于T模型，但是可以很好地压缩网络体积。（2）知识蒸馏是由Hiton的DistillingtheKnowledgeinaNeuralNetwork论文地址提出，并通过引入与教师网络（TeacherNetwork：网络结构复杂，准确率高一般是我们的Best_Model）相关的
761527200·2020-06-25 16:35

【论文笔记】[CVPR_2018_SR]Information Distillation Network

启示：可以将featuremap拆开作为densenet的连接，看看会不会有好结果。一、特点：参数少，时间短，模型小二、结构总体结构核心结构是EnhancementUnitEnhancementUnit将featuremap分成(1/s)和(1-1/s)个，然后一部分继续进入conv，一部分与前一个block的输出concat，直接与这一个block的输出相加，输入下一个block。（其中feat
阮恒·2020-06-25 13:42

【论文阅读】Structured Knowledge Distillation for Semantic Segmentation

概述这篇论文来自CVPR2019Oral。论文的出发点：语义分割的模型往往很难兼顾速度与精度，也因此语义分割的网络分为两类，论文中描述为cumbersomesegmentationnetwork与compactsegmentationnetwork，简单地说一个注重精度，一个注重速度。这篇论文利用知识蒸馏来提高compactsegmentationnetwork的精度。论文的创新点（核心）：知识蒸
钱思惘·2020-06-22 03:40

Iterated Distillation and Amplification

IteratedDistillationandAmplificationThisisaguestpostsummarizingPaulChristiano’sproposedschemefortrainingmachinelearningsystemsthatcanberobustlyalignedtocomplexandfuzzyvalues,whichIcallIteratedDistilla
UniversityAI·2020-03-15 12:16

Knowledge Distillation Summary

最近看了几篇KD方法用于模型压缩的文章，现总结如下：KnowledgeDistillation最先由Hinton提出的，大意是说：小模型在分类的时候，光用训练集里的one-hotlabel不好，因为这种标注把类别间的关系割裂开了。而如果让小模型跟着大模型输出的概率分布去学的话，就相当于给出了类别之间的相似性信息，提供了额外的监督信号，因此学起来更容易。比如说识别手写数字，同时标签为3的图片，可能有
信步闲庭v·2020-02-05 09:22

SAD---Learning Lightweight Lane Detection CNNs by Self Attention Distillation

概括论文地址：https://arxiv.org/pdf/1908.00821.pdf论文代码：[GitHub](https://github.com/cardwing/Codes-for-Lane-Detection)这篇论文用于检测车道线，作者提出SelfAttentionDistillation（SAD）模块，可用于现有任何网络结构，提升检测效果但不增加inferencetime。在模型EN
看_有灰碟·2020-02-02 11:42

Feature Fusion for Online Mutual Knowledge Distillation （CVPR 2019）

一、解决问题如何将特征融合与知识蒸馏结合起来，提高模型性能二、创新点支持多子网络分支的在线互学习子网络可以是相同结构也可以是不同结构应用特征拼接、depthwise+pointwise，将特征融合和知识蒸馏结合起来三、实验方法和理论1.MotivationDML(DeepMutualLearning)算法思想：用两个子网络（可以是不同的网络结构）进行在线互学习，得到比单独训练性能更好的网络损失函数
snail_1·2019-12-15 16:00

31组-MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

目前，构建小型神经网络通常有以下两类方法：压缩预训练的网络：Productquantization,Vectorquantization,Distillation,Hashi
LoneRanger66·2019-11-29 20:02

Feature Fusion for Online Mutual Knowledge Distillation （CVPR 2019）

一、解决问题如何将特征融合与知识蒸馏结合起来，提高模型性能二、创新点支持多子网络分支的在线互学习子网络可以是相同结构也可以是不同结构应用特征拼接、depthwise+pointwise，将特征融合和知识蒸馏结合起来三、实验方法和理论1.MotivationDML(DeepMutualLearning)算法思想：用两个子网络（可以是不同的网络结构）进行在线互学习，得到比单独训练性能更好的网络损失函数
SuperLab·2019-10-31 20:00

CV_Daily Issue 29

CV_DailyIssue29YangXianRethinkingDataAugmentation:Self-SupervisionandSelf-Distillation数据增强技术（例如翻转或裁剪）
bryce1010·2019-10-21 10:36

Faster RCNN的检测蒸馏（分类、回归、Feature-level、Feature-level＋Mask）

featurelevelhttp://papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation
一路狂奔的猪·2019-07-08 11:49

【distillation】shrinkTeaNet:Million-scale Lightweight Face Recognition via Shrinking T-S Networks

论文完整题目：shrinkTeaNet:Million-scaleLightweightFaceRecognitionviaShrinkingTeacher-StudentNetworks论文链接：https://arxiv.org/abs/1905.10620v1作者的动机：性能好的人脸识别网络由于其庞大的参数和复杂的网络结构比较困难，作者想要得到一个小型但是精度又还可以与大网络差不多的小网络模
猫猫与橙子·2019-06-13 17:01

跟着白泽读paper丨MoonShine: Optimizing OS Fuzzer Seed Selection with Trace Distillation

MoonShine:OptimizingOSFuzzerSeedSelectionwithTraceDistillation本文发表于UsenixSecurity2018，作者：ShankaraPailoor，AndrewAday，SumanJana。三位作者均来自于ColumbiaUniversity。1.主要内容OSFuzzer是一种主要在操作系统内核与用户态程序间利用system-call进
复旦白泽战队·2019-03-29 15:28

《Revisiting Distillation and Incremental Classifier Learning》 论文笔记

原文链接：https://arxiv.org/abs/1807.02802本文主要就是对于iCaRL这篇论文的再研究，设置了一些研究型实验推翻了之前iCaRL论文中的一些说法，最终得出结论，iCaRL之所以行之有效的主要原因是使用了知识蒸馏（Knowledgediatillation）。并对于知识蒸馏存在的分类器偏差（biasinclassifiers）问题，提出了动态阈值移动（dynamicth
Chris_zhangrx·2018-12-05 19:27

《Revisiting Distillation and Incremental Classifier Learning》 论文笔记

原文链接：https://arxiv.org/abs/1807.02802本文主要就是对于iCaRL这篇论文的再研究，设置了一些研究型实验推翻了之前iCaRL论文中的一些说法，最终得出结论，iCaRL之所以行之有效的主要原因是使用了知识蒸馏（Knowledgediatillation）。并对于知识蒸馏存在的分类器偏差（biasinclassifiers）问题，提出了动态阈值移动（dynamicth
Chris_zhangrx·2018-12-05 19:27

2018-11-21

trait-特点traitor-叛徒constellation-星座，一系列distillation-蒸馏，净化farce-闹剧force[名]-力量，武力force[动]-强迫dash-猛冲gash-
彭奕泽·2018-11-22 10:04

知识蒸馏（Knowledge Distillation）

1、DistillingtheKnowledgeinaNeuralNetworkHinton的文章"DistillingtheKnowledgeinaNeuralNetwork"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teachernetwork：复杂、但推理性能优越）相关的软目标（soft-target）作为totalloss的一部分，以诱导学生网络（studentnetwo
Law-Yao·2018-06-04 16:38

知识蒸馏（Distillation）相关论文阅读（3）—— FitNets : Hints for Thin Deep Nets

知识蒸馏相关论文目录导读：GeoffryHinton——DistillingtheknowledgeinaneuralnetworkSaurabhGupta——CrossModelDistillationforSupervisionTransferAdrianaRomero——HintsforThinDeepNets————————————————————————————————————————《
每天都要深度学习·2018-03-28 00:03

知识蒸馏（Distillation）相关论文阅读（1）——Distilling the Knowledge in a Neural Network（以及代码复现）

引出一种模型压缩技术：Distillation；以及介绍了一种由一个或多个完整模型（fullmodels）以及针对/细节
每天都要深度学习·2018-03-21 21:25

论文解读：Recurrent Neural Network Training with Dark Knowledge Transfer

Hinton的Distillation研究了如何利用一个复杂网络来训练简单网络，但是训练出来的简单网络性能只能逼近复杂网络。
深度学习入门·2017-05-18 14:18

Cross Modal Distillation for Supervision Transfer

Abstract本文关注点是对图片的不同模态，做监督迁移学习。两种不同的模态，一种有大量的标注样本，一种没有。将从标注过样本的模态中学习得到的特征作为监督信号，用于无标注样本模态的特征学习。此方案能够对无标注信息的模态学习到很好的特征，也可以用于只含有少量标注样本的新模态的预训练。文章做了RGB图片（labeled）到depth（unlabeled）和opticalflow（unlabeled）图
弓如霹雳弦惊·2017-02-18 10:21
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他