蒸馏）第36页

披星戴月的距离

我记得傍晚始发的列车刚冲出了站台的灯火就一头扎进了淡紫色的夜幕，我记得在车上睡去又醒来后会发现窗户上淌着小溪一般的蒸馏水，我记得阳光灿烂的冬日早晨列车会在红日照耀下的一栋写字楼附近临时停车……总

刘奇奇·2020-08-19 22:58

乙醇汽油对车有害吗？怎样做才能保护爱车

汽油本身会带有水分，汽油提纯的方式是蒸馏法，或多或少都会残留一定的水分，质量差的汽油含水就更多了，在汽油运输和加油站存储环节都会混入水分，甚至一些黑心加油站会往里掺水。

大飙车·2020-08-19 20:09

知识蒸馏(Knowledge Distillation) 经典之作

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。

Terry_dong·2020-08-19 20:12

威士忌独行侠——独立装瓶者

但是威士忌的世界里除了有历史悠久的蒸馏厂之外，还有像明星经纪人一样的角色，这一部分人是最早一批让品质上佳的威士忌流向市场的，很多时候他们会从蒸馏厂搞到一批威士忌然后自己开始陈酿或者别的什么操作，然后推向市场

百瓶BillionBottle·2020-08-19 09:10

CVPR2019|Structured Knowledge Distillation for Semantic Segmentation语义分割的结构知识蒸馏

Abstract本文研究了利用大型网络训练小型语义分割网络的知识蒸馏策略。我们从简单的像素式精馏方案开始,该方案应用于图像分类的精馏方案,并分别对每个像素进行知识精馏。

Woooooooooooooo·2020-08-19 07:23

配糟是什么意思？传统酿造工艺的方法

传统酿造工艺的方法：一、准备稻壳：稻壳主要功能是使玉米等粉碎的粮食在蒸馏过程中透气和防止其黏结。新鲜的稻壳是稻谷加工厂的废料，所以稻壳很容易获得。

转角遇见酒·2020-08-19 03:26

深度学习领域专有名词的理解与释义

知识蒸馏（KnowledgeDistillation）知识蒸馏就是想利用一个复杂的，精度高的网络（教师网络），来训练一个简单的网络（学生网络），使得学生网络用比较简单的网络结构，同样能够达到教师网络的效果

深视·2020-08-19 03:31

腾讯优图——分布式知识蒸馏损失改善人脸识别困难样本（附论文代码）

今天我们详细分析优图的“分布式知识蒸馏损失”应用在人脸识别领域，去较大程度改善了困难样本的技术，希望持续关注我们“计算机视觉研究院”！

计算机视觉研究院·2020-08-19 02:42

蒸馏式持续学习：Progress & Compress: A scalable framework for continual learning

Progress&Compress：一个可扩展的持续学习框架Abstract1.Introduction2.TheProgressandCompressFramework2.1.Learninganewtask2.2.Distillationandknowledgepreservation3.RelatedWork4.OnlineEWCAbstract我们介绍了一个概念上简单且可扩展的框架，用于连

三重极简·2020-08-19 02:20

BERT等复杂深度学习模型加速推理方法——模型蒸馏

参考《DistillingtheKnowledgeinaNeuralNetwork》Hinton等蒸馏的作用首先，什么是蒸馏，可以做什么？

我就算饿死也不做程序员·2020-08-18 11:10

【文献阅读】将知识蒸馏用于视觉问答VQA的紧凑三重交互（T. Do等人，ICCV，2019，有代码）

一、背景文章题目：《CompactTrilinearInteractionforVisualQuestionAnswering》ICCV2019的一篇文章。文章下载地址：http://openaccess.thecvf.com/content_ICCV_2019/papers/Do_Compact_Trilinear_Interaction_for_Visual_Question_Answerin

全部梭哈迟早暴富·2020-08-18 07:26

【文献阅读】结合对抗网络和知识蒸馏，对多模态源的遥感图像分类（S. Pande等人，ICCV，2019）

AnAdversarialApproachtoDiscriminativeModalityDistillationforRemoteSensingImageClassification》遥感图像分类一直都是一个热门话题，这篇文章结合对抗网络和知识蒸馏来做遥感图像分类

全部梭哈迟早暴富·2020-08-18 07:26

【DML】Deep Mutual Learning 深度相互学习，神经网络也可以协作

文章提出了一种简单且普遍适用的方法，通过与同辈和相互蒸馏进行的队列训练来改善深层神经网络的性能。通过这种方法，我们可以获得比那些强大但静态的teacher提炼的网络性能更好的紧凑网络。

_Summer tree·2020-08-17 11:54

【DKNN】Distilling the Knowledge in a Neural Network 第一次提出神经网络的知识蒸馏概念

文章已经表明，对于将知识从整体模型或高度正则化的大型模型转换为较小的蒸馏模型，蒸馏非常有效。在MNIST上，即使用于训练蒸馏模型的迁移集缺少一个或多个类别的任何示例，蒸馏也能很好地工作。

_Summer tree·2020-08-17 11:54

无训练数据压缩网络《Data-Free Learning of Student Networks》读后总结

GAN和教师-学生网络设计了适合于这篇文章中的GAN模型的总损失函数$L_{Total}$one-hot损失函数$L_{oh}$激活损失函数$L_{a}$生成图像的信息熵损失函数$L_{ie}$利用知识蒸馏将教师网络压缩为学生网络对多个

geek12138_·2020-08-17 11:23

pytorch学习笔记——知识蒸馏（14）

利用大型教师网络辅助小型学生网络进行训练的知识蒸馏方法如今已经被开始用于模型的压缩。

wuzhiyuan2000·2020-08-17 03:51

paddlepaddle学习之模型压缩 PaddleSlim

1.模型压缩主要有以下四个方面：剪裁卷积通道数剪裁（将大规模的参数量变少）量化将float32计算变成int计算（计算量及模型体积减少）蒸馏将大规模的知识迁移到小模型上（将小模型的精度提高）nas以模型大小和推理速度为约束的模型结构搜索

AI搬砖小能手·2020-08-16 09:48

小全读论文《Learning without Memorizing》CVPR2019

《LearningwithoutMemorizing》CVPR2019一、Motivation二、Approach注意力区域的特征生成（Generatingattentionmaps）注意力区域的知识蒸馏三

FatMigo·2020-08-15 21:10

系统学习NLP（三十二）--BERT、XLNet、RoBERTa、ALBERT及知识蒸馏

参考：https://zhuanlan.zhihu.com/p/84559048一.BERTBERT是一种基于TransformerEncoder来构建的一种模型，它整个的架构其实是基于DAE(DenoisingAutoencoder)的，这部分在BERT文章里叫作MaskedLanaugeModel（MLM)。MLM并不是严格意义上的语言模型，因为整个训练过程并不是利用语言模型方式来训练的。BE

Eason.wxd·2020-08-14 15:27

程序人生 - 农夫山泉、恒大冰泉、怡宝等矿泉水品牌的产品有哪些区别？

蒸馏水、纯净水、矿泉水、天然水……一溜儿看起来水至清的瓶装水，到底差别在哪？什么水才是好水？虽然水圈复杂，但玄机都藏

Lux_Sun·2020-08-14 13:21

腾讯优图 | 分布式知识蒸馏损失改善困难样本

计算机视觉研究院·2020-08-13 14:05

137% YOLOv3加速、10倍搜索性能提升！这样的惊喜，最新版PaddleSlim有10个

不仅囊括了深度学习模型压缩中常用的量化、剪裁、蒸馏、模型结构搜索、模型硬件搜索等方法。还应用到百度人脸SDK中，能够实现在嵌入式设备上，0.3秒内完成人脸检测、跟踪、活体检测、识别等全流程操作。

QbitAl·2020-08-13 12:06

ICCV 2019推荐Pytorch实现一种无需原始训练数据的模型压缩算法

背景大多数深层神经网络（CNN）往往消耗巨大的计算资源和存储空间为了将模型部署到性能受限的设备（如移动设备），通常需要加速网络的压缩现有的一些加速压缩算法，如知识蒸馏等，可以通过训练数据获得有效的结果。

imalg图像算法·2020-08-12 11:39

PaddleClas-SSLD知识蒸馏方法梳理（82.4%ResNet50系列模型养成之路）

简介PaddleClas是PaddlePaddle最近开源的图像分类代码库，里面包括了目前比较常用的分类模型，ResNet、HRNet、DenseNet、ResNeXt等，配置文件里也提供了这些模型的训练脚本，总共大概是117个模型，当然pretrainedmodel权重文件也都给出来了，github地址在这里：https://github.com/PaddlePaddle/PaddleClas模

Strangers_bye·2020-08-10 01:29

Knowledge Distillation 知识蒸馏详解

文章目录往期文章链接目录ShortcomingofnormalneuralnetworksGeneralizationofInformationKnowledgeDistillationAfewDefinitionsGeneralideaofknowledgedistillationTeacherandStudentTemperature&EntropyTrainingtheDistilModel

Jay_Tang·2020-08-09 17:24

PARALLEL WAVEGAN论文学习

ParallelWavegan：基于具有多分辨率谱图的生成逆向网络的快速波形生成模型摘要：ParallelWaveGAN是一种无蒸馏的对抗生成网络，快速且占用空间小的波形生成方法。

Rookie羊·2020-08-08 19:44

微生物常见20种培养基配方

一、糖发酵管成分：牛肉膏5g蛋白胨10g氯化钠3g磷酸氢二钠2g0.2％滇麝香草酚蓝溶液12mL蒸馏水1000mLPH7.4制法1.葡萄糖发酵管按上述成分配好后,按0.5％加入葡萄糖,分装于有一个倒置小管的小试管内

刘永鑫Adam·2020-08-08 01:49

知识蒸馏Knowledge Distillation论文汇总

FITNETS:HINTSFORTHINDEEPNETS论文链接该论文扩展了知识蒸馏的方法，student网络比teacher更深、更“瘦”，不仅使用teacher的输出作为训练student的softtargets

GillianZhu·2020-08-07 20:20

【论文阅读】Distilling the Knowledge in a Neural Network

论文链接参考博客知识蒸馏(knowledgedistillation)动机在机器学习中，我们倾向于使用非常相似的模型进行训练(train)和部署(depolyment)，尽管这两个阶段显然有不同的需求：

GillianZhu·2020-08-07 20:49

“品美酒，写骚码”之白酒篇

1.白酒酿造工艺1.1粮食酒与勾兑酒首先，所有的白酒都是粮食经过发酵、蒸馏而成的，也就是我们常说的粮食酒，这也印证了人们常说的“酒是粮食精，越喝越年轻”这句话。

diaoren6280·2020-08-07 13:14

Distilling the Knowledge in a Neural Network 论文笔记

因此，本文主要做出了以下两点贡献：提出一种知识蒸馏（Knowle

ReBoRn88888·2020-08-06 13:46

知识蒸馏，teacher—student模型的思考

知识蒸馏，teacher—student模型的思考这个方向的学术源头是RichCaruana2014年的作品《DoDeepNetsReallyNeedtobeDeep?》

卷发何少·2020-08-06 13:55

知识蒸馏

论文：DistillingtheKnowledgeinaNeuralNetwork目前的深度学习仍然处于“数据驱动”的阶段，通常在模型训练的时候，仍然需要从巨大且冗余的数据中提取特征结构，且需要巨大的资源消耗，但是不考虑实时性要求；最后训练得到的模型大而笨重，但是模型预测精度较高。但是在实际应用中，有计算资源和延迟的限制，例如手机设备和芯片系统等等，那么要如何使得模型减重且精度不损失呢？对于应用到

陶将·2020-08-06 13:42

知识蒸馏：深入理解温度的作用

id=1598625949059208402&wfr=spider&for=pc之前看过一遍知识蒸馏，当时应该是理解了的，但是过了俩月又忘了……因此特开一帖，用最简单的语言解释！

惯懒高手·2020-08-06 13:04

Knowledge Distillation by On-the-Fly Native Ensemble论文解读

2.损失函数：训练时softmax都有温度T=3蒸馏，测试时就恢复T=1。最终的Loss第一项代表各个分支的损失，第二项代表最后Teacher的损失，第三项代表各分支和Teacher的KL散度。

snp的p·2020-08-06 13:03

Knowledge Distillation

zhangjf26·2020-08-06 13:08

理解知识蒸馏

《理解知识蒸馏》本文是对知识蒸馏方法在分类场景的应用来讨论的。

Cpp课代表·2020-08-06 13:08

Knowledge Distillation(知识蒸馏)

DoDeepNetsReallyNeedtobeDeep？虽然近年来的趋势如BigGAN，BERT等，动辄上亿参数，几乎就是数据驱动+算力的“暴力”结果。但同时，更加轻量级的升级版模型如ALBERT也能以更少的参数和架构持续刷榜，元学习（metalearning）和零样本学习（Zero-shotlearning），还有只需要个位数层数就能取得优异效果的GCN等，都似乎证明了“大道至简”。深度模型的

上杉翔二·2020-08-06 12:51

【DL】模型蒸馏Distillation

然而随着模型体积增大，线上性能也越来越差，所以决定开一条新线，开始follow模型压缩之模型蒸馏的故事线。

段子手实习生·2020-08-06 12:13

深度剖析知识增强语义表示模型——ERNIE

文章目录什么是语义表示静态词向量动态词向量（上下文词向量）位置编码ERNIE的原理介绍神经网络上的改造辅助任务学习过程ERNIE的应用案例性能不敏感的场景：直接使用ERNIE的模型蒸馏案例：搜索问答Query

财神Childe·2020-08-06 12:01

知识蒸馏(Knowledge Distillation)详细深入透彻理解重点

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。

kyle1314608·2020-08-06 12:32

知识蒸馏（Knowledge Distilling）

1.参考资料，一个很好的KD的资料listhttps://github.com/dkozlov/awesome-knowledge-distillation一个中文的相关资料https://www.zhihu.com/question/333196499/answer/738197683一些找到的跟KD相关的资料https://github.com/lhyfst/knowledge-distill

ayz30868·2020-08-06 12:27

知识蒸馏论文的一些自己总结

本文只是对论文的一些总结，不关注于具体细节公式，主要是了解思想，如果有空我会专门的开博客对一些论文进行细节讲述，如果本文说明有问题的，欢迎联系我，欢迎指正。一.AttentionTransferPayingMoreAttentiontoAttention:ImprovingthePerformanceofConvolutionalNeuralNetworksviaAttentionTransfer

冰菓(笑)·2020-08-06 12:45

【阅读笔记】KDGAN: Knowledge Distillation with Generative Adversarial Networks

知识蒸馏(KD)的目标是训练一种轻量级分类器，能够在多标签学习资源受限的情况下提供精确的推理。分类器不是直接使用特征标签对，而是由教师进行训练，即这是一个高能力的模型，它的培训可能需要大量资源。

盏茶y·2020-08-06 12:40

模型压缩之Distilling Knowledge From a Deep Pose Regressor Network

DistillingKnowledgeFromaDeepPoseRegressorNetwork文章目录DistillingKnowledgeFromaDeepPoseRegressorNetwork主要工作主要结构损失函数原始的蒸馏使用

有为少年·2020-08-06 12:29

知识蒸馏Knowledge Distillation

知识蒸馏是模型压缩的一个重要方法，本文简要介绍了什么是知识蒸馏。

CloudCver·2020-08-06 12:43

【转】Knowledge-Distillation 知识蒸馏论文集合

AwesomeKnowledge-Distillation博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.htmlAwesomeKnowledge-DistillationDifferentformsofknowledgeKnowledgefromlogitsKnowledgefrominter

Phoenixtree_Zhao·2020-08-06 12:25

知识蒸馏论文读书笔记

知识蒸馏这个名字非常高大上（不得不说大佬不仅想法清新脱俗，名字也起的情形脱俗啊）。如果直白地说老师学生模型，那就不酷了。

Uncle_Sugar·2020-08-06 12:19

知识蒸馏经典论文阅读

这篇Hinton大佬的DistillingtheKnowledgeinaNeuralNetwork，是知识蒸馏领域的开山之作，第一次引入了知识蒸馏的概念。

把球交给DerAx·2020-08-06 12:41

知识蒸馏（Distilling Knowledge ）的核心思想

我最近在阅读ICCV关于神经网络模型压缩与加速的文章，顺藤摸瓜阅读了Hinton等大佬们在这方面的开山巨作（DistillingtheKnowledgeinNeuralNetwork）。文章很有创意，做点笔记。文章针对的是分类问题，其主要工作解决两个问题：如何把大型网络压缩成小型网络？如何训练多个网络后融合模型以提高网络表现能力又不占用过大内存？（解决了第一个问题，也就解决了第二个问题）1硬标签和

木水_·2020-08-06 12:07

推荐频道

蒸馏）