蒸馏

走进喜成席——酱香酒的七个特点

易挥发物质少酱香酒蒸馏时接酒温度高达40度以上，比其它酒接酒
贵州喜成席·2023-01-28 23:55

2023 Curriculum Temperature for Knowledge Distillation

论文地址：https://arxiv.org/abs/2211.16231代码地址：https://github.com/zhengli97/CTKD1研究动机与研究思路研究动机：大多数现有的蒸馏方法忽略了温度在损失函数中的灵活作用
谷子君·2023-01-28 15:27

【CVPR 2021】无标签学习的知识蒸馏：Learning Student Networks in the Wild

LearningStudentNetworksintheWild(thecvf.com)代码地址GitHub-huawei-noah/Efficient-Computing:Efficient-Computing整体流程主要问题使用未标记的数据完成知识蒸馏
苗老大·2023-01-28 09:18

轻量化网络学习 5 知识蒸馏网络

文章目录归纳论文归纳提出一种知识蒸馏的方法，将大模型的知识进行蒸馏得到相当精度的小模型，即利用大模型（集成模型）生成的类别概率softtargets，待压缩的模型自身的类别作为hardtargets，二者结合共同训练待压缩模型
spark-aixin·2023-01-28 09:16

【深度学习】（一）知识蒸馏

KnowledgeDistillationASuvery的第二部分，上一篇介绍了知识蒸馏中知识的种类，这一篇介绍各个算法的蒸馏机制，根据教师网络是否和学生网络一起更新，可以分为离线蒸馏，在线蒸馏和自蒸馏
mjiansun·2023-01-28 08:45

神经网络的知识蒸馏

.Teacher2.Student3.KD4.完整代码参考（具体细节见原文）总结KnowledgeDistillation，简称KD，顾名思义，就是将已经训练好的模型包含的知识(Knowledge)，蒸馏
前世忘语·2023-01-28 08:15

知识蒸馏综述:网络结构搜索应用

【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。
*pprp*·2023-01-28 08:41

轻量化网络之知识蒸馏

文章目录前言一、Knowledgedistillation(知识蒸馏)是什么？
阿啊啊学·2023-01-28 08:09

第一章 （1）我是一滴小小的精油

我是从植物种子、树皮、根、茎、叶、花、果、树脂等部位，蒸馏、冷压方法萃取出的挥发性液体。我默默无闻，不被人的肉眼所看到，但是我却是植物赖以生存的关键物质。
留香521·2023-01-27 17:33

目标检测知识蒸馏---以SSD为例【附代码】

在上一篇文章中有讲解以分类网络为例的知识蒸馏【分类网络知识蒸馏】，这篇文章将会针对目标检测网络进行蒸馏。知识蒸馏是一种不改变网络结构模型压缩方法。
爱吃肉的鹏·2023-01-27 15:25

温泉

惠州市龙门县云顶温泉威士忌酒店国庆，抽出3天时间游玩，进门大厅就有两台6米高的威士忌蒸馏器，我们住在了1822房间，背靠大山，阳台有4平方左右的私人温泉池，没有杂音，没有偷窥，一个人拿本香奈尔传，喝着咖啡
天天复日日碎碎又念念·2023-01-27 09:25

原料奶中食盐的检出

2试剂2.19.6g/L硝酸银溶液：取分析纯硝酸银置于105℃烘箱内烘30min，取出放在干燥器内冷却后，称取9.6g溶于1000ml蒸馏水中。
媛来yuan·2023-01-27 00:41

读Training Strategies for Improved Lip-Reading论文

标题：改善唇读的训练策略关键词：数据增强、时间模型、训练策略、自蒸馏（selfdistillation）、DC-TCN、时间掩膜（timemasking）、mixup、单词边界（wordboundary
让我看看谁在学习·2023-01-25 18:49

深度学习面试题：计算机视觉训练技巧

模型受学习率影响大的模型测试集数据增广：基本对结果有0.5%-1%的影响注意：训练集用了哪些数据扩增方法，测试集才可以用对应的数据扩增方法softlabel与pseudolabel如何利用softlabel进行模型蒸馏
weixin_45955767·2023-01-25 16:46

FastSpeech2论文中文翻译

FastSpeech模型的训练依赖于一个自回归的教师模型为了时长的预测（为了提供更多的信息作为输入）和知识蒸馏（为了简化数据的分布在输出里），这种知识蒸馏能够解决一对多的映射问题（也就是相同文字下的多语音
贾大帅·2023-01-25 07:18

基于蒸馏损失的自监督学习算法 | CVPR 2021

点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达AI科技评论报道编辑|陈大鑫AI科技评论今天给大家介绍一篇被CVPR2021收录的关于自监督的文章——S2-BNN[1]，论文作者来自CMU，HKUST和IIAI。这篇论文探讨了如果网络规模在非常小的情况下（比如efficientnetworks或者binaryneuralnetworks），什么样的自监督训练策略和方法是最好的。
视学算法·2023-01-21 12:39

基于蒸馏（distillation loss）的自监督学习算法

本文发现基于小网络的前提下，基于蒸馏（distillationlearning）的自监督学习得到的模型性能远远强于对比学习（cont
PaperWeekly·2023-01-21 12:32

S2-BNN：基于蒸馏的自监督学习算法

基于蒸馏（distillationloss）的自监督学习算法今天给大家介绍一篇CVPR2021关于自监督的文章叫S2-BNN[1]，来自CMU，HKUST和IIAI。
Amusi（CVer）·2023-01-21 12:01

CVPR2019| 亚洲微软研究院、阿德莱德论文：结构知识蒸馏应用语义分割

我们从简单的像素蒸馏方案开始，它将图像分类所采用的蒸馏方案应用于图像分类，并对每个像素分别进行知识蒸馏。基于语义分割是一个结构化的预测问题，我们进一步提出将结构化知识从大网络提取到
SophiaCV·2023-01-21 09:45

浓缩就是精华：用大一统视角看待数据集蒸馏

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群24页述评，167篇参考文献，新加坡国立大学发布最新数据集蒸馏全面述评！
Amusi（CVer）·2023-01-20 17:22

PointDistiller：面向高效紧凑3D检测的结构化知识蒸馏（CVPR2022）

最近，知识蒸馏已被提出作为一种有效的模型压缩技术，它将知识从过度参数化的教师转
自动驾驶之心·2023-01-18 16:12

【论文速递】CCDC2021 - 轻量级网络的结构化注意知识蒸馏

【论文速递】CCDC2021-轻量级网络的结构化注意知识蒸馏【论文原文】：StructuredAttentionKnowledgeDistillationforLightweightNetworks获取地址
長__安·2023-01-18 14:09

顶刊TPAMI2023｜港中文提出基于自适应视角的APD知识蒸馏框架，有效提高现实场景语义分割性能

论文标题：AdaptivePerspectiveDistillationforSemanticSegmentation论文链接：https://ieeexplore.ieee.org/document/9736597作者单位：香港中文大学（JiayaJia，IEEEFellow）、牛津大学欢迎关注@CV顶刊顶会微信公众号，严肃且认真的计算机视觉论文前沿报道~强大的语义分割模型需要预训练的backb
CV顶刊顶会·2023-01-18 09:33

知识蒸馏详解

在第一次听到知识蒸馏这个名词时，觉得好高大上，后来听台湾大学李宏毅老师讲解时也是云里雾里。
不过普通话一乙不改名·2023-01-18 09:17

知识蒸馏简介

知识蒸馏知识蒸馏简介蒸馏作用背景主要是为了减少模型计算量，降低模型复杂度，减少需要的计算资源模型压缩基本方法：裁剪为什么要进行知识蒸馏当前深度学习模型参数越来越多，规模越来越大，在处理数据和模型部署的时候
hblg_bobo·2023-01-18 09:16

知识蒸馏

目录一引言1.1深度学习的优点1.2深度学习的缺点二什么是知识蒸馏2.1模型压缩2.2什么是学习2.3什么是知识蒸馏2.4知识蒸馏的一般流程三知识蒸馏的分类3.1模型结构的种类3.2知识的分类3.3如何蒸馏四输出层知识蒸馏
_Old_Summer·2023-01-18 09:15

知识蒸馏 示例代码实现及下载

知识蒸馏代码实现论文《DistillingtheKnowledgeinaNeuralNetwork》*源码以Github为准Github链接：https://github.com/yeqiwang/KnowledgeDistilling1
今生有幸.~·2023-01-18 09:15

CVPR 2021 预讲 · 华为诺亚专场，5 篇精华报告，覆盖NAS、蒸馏、检测和降噪

国际计算机视觉与模式识别会议（CVPR）是计算机视觉领域三大顶会之一（另外两个分别为ICCV、ECCV）。作为计算机视觉领域一年一度的盛会，CVPR每年接收论文的情况，基本可以代表一年中计算机视觉领域的发展趋势。CVPR2021大会将于6月19日至25日线上举行，中国科学院院士谭铁牛将担任CVPR2021四位大会主席之一。今年CVPR共有7015篇有效投稿，其中进入DecisionMaking阶段
智源社区·2023-01-17 19:40

知识蒸馏

知识蒸馏是模型压缩的一种方法，指将复杂的、参数量大的模型的特征表达能力迁移到简单的、参数量小的模型中，以加快模型的推理。
hi我是大嘴巴·2023-01-16 15:20

【知识蒸馏】如何写好BERT知识蒸馏的损失函数代码(一)

来自：NLP从入门到放弃大家好，我是DASOU；今天从代码角度深入了解一下知识蒸馏，主要核心部分就是分析一下在知识蒸馏中损失函数是如何实现的；知识蒸馏一个简单的脉络可以这么去梳理：学什么，从哪里学，怎么学
zenRRan·2023-01-16 15:49

知识蒸馏（Knowledge Distillation）

1、DistillingtheKnowledgeinaNeuralNetworkHinton的文章"DistillingtheKnowledgeinaNeuralNetwork"首次提出了知识蒸馏（暗知识提取
迷路在代码中·2023-01-16 15:48

Knowledge Distillation(KD) 知识蒸馏 Pytorch实现

简单实现，主要为了理解其原理importtorchimporttorch.nnasnnimportnumpyasnpfromtorch.nnimportCrossEntropyLossfromtorch.utils.dataimportTensorDataset,DataLoader,SequentialSamplerclassmodel(nn.Module):def__init__(self,i
hxxjxw·2023-01-16 15:48

BERT蒸馏完全指南｜原理/技巧/代码

来自：李rumor小朋友，关于模型蒸馏，你是否有很多问号：蒸馏是什么？怎么蒸BERT？BERT蒸馏有什么技巧？如何调参？蒸馏代码怎么写？有现成的吗？
zenRRan·2023-01-16 15:48

转：知识蒸馏

蒸馏神经网络取名为蒸馏（Distill），其实是一个非常形象的过程。我们把数据结构信息和数据本身当作一个混合物，分布信息通过概率分布被分离出来。
冰菓(笑)·2023-01-16 15:18

【论文笔记_在线蒸馏、GAN】Online Multi-Granularity Distillation for GAN Compression

为了解决这个问题，我们提出了一种新的在线多粒度蒸馏（OMGD）方案来获得轻量级的GAN，这有助于以较低的计算需求生成高保真图像。我们首次尝试将单级在线蒸馏推广到面
乱搭巴士·2023-01-16 11:04

【论文速递】TPAMI2022 - 自蒸馏：迈向高效紧凑的神经网络

【论文速递】TPAMI2022-自蒸馏：迈向高效紧凑的神经网络【论文原文】：Self-Distillation:TowardsEfficientandCompactNeuralNetworks获取地址：
長__安·2023-01-16 10:56

解耦知识蒸馏（Decoupled Knowledge Distillation，DKD）论文解读

论文简介：1、为了提供研究logit蒸馏的新观点，本文将经典的KD损失重新表述为两个部分，即目标类知识蒸馏（TCKD）和非目标类知识精馏（NCKD）。
一瞬にして失う·2023-01-16 06:45

【自然语言处理】【多模态】ALBEF：基于动量蒸馏的视觉语言表示学习

ALBEF：基于动量蒸馏的视觉语言表示学习《AlignbeforeFuse：VisionandLanguageRepresentationLearningwithMomentumDistillation
BQW_·2023-01-13 18:38

CLIP2TV：用CLIP和动量蒸馏来做视频文本检索！腾讯提出CLIP2TV，性能SOTA，涨点4.1%！...

关注公众号，发现CV技术之美▊写在前面现代视频文本检索框架主要由视频编码器、文本编码器和相似度head三个部分组成。随着视觉表示学习和文本表示学习的成功，基于Transformer的编码器和融合方法也被应用于视频-文本检索领域。在本文中，作者提出了CLIP2TV，旨在探索基于Transformer的方法中关键元素的位置。为了实现这一点，作者首先回顾了多模态学习的一些研究，然后将一些技术引入视频文本
我爱计算机视觉·2023-01-13 18:38

DistilBERT 论文笔记

单位：HuggingFace时间：2020.5发表：NIPS2019论文链接：https://arxiv.org/pdf/1910.01108.pdf一、背景1.什么是distill（蒸馏）？
shuaiZuJiaoFu·2023-01-12 19:10

[2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

目录Method1.结果蒸馏——分类2.结果蒸馏——回归3.特征蒸馏实验结果总结Method将知识蒸馏用在检测方向最大的问题就是前景和背景的类别不均衡问题。
机器就不学习·2023-01-12 13:34

[2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记

动机认为目标检测知识蒸馏效果不好的问题出在两个地方。1.前背景像素比例不平衡问题。
机器就不学习·2023-01-12 13:34

【论文笔记_知识蒸馏_2022】Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation

通过对立知识蒸馏压缩深度图神经网络摘要深度图神经网络(GNNs)已被证明对图结构数据的建模具有表达能力。然而，深度图模型的过度堆积的体系结构使得在移动或嵌入式系统上部署和快速测试变得困难。
乱搭巴士·2023-01-12 13:33

【论文笔记_知识蒸馏_2022】Spot-adaptive Knowledge Distillation

点自适应知识蒸馏摘要知识提取(KD)已经成为压缩深度神经网络的一个良好建立的范例。进行知识提炼的典型方式是在教师网络的监督下训练学生网络，以利用教师网络中一个或多个点(即，层)的知识。
乱搭巴士·2023-01-12 13:03

【论文笔记_知识蒸馏_2022】Knowledge Distillation from A Stronger Teacher

来自一个更强的教师的知识蒸馏摘要不同于现有的知识提取方法侧重于基线设置，其中教师模型和培训策略不如最先进的方法强大和有竞争力，本文提出了一种称为DIST的方法，以从更强的教师中提取更好的知识。
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏_2022】Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolida

摘要我们提出了一种基于深度神经网络的新型类增量学习方法，该方法在有限的内存中不断学习新的任务，用于存储以前任务中的例子。我们的算法以知识提炼为基础，提供了一种原则性的方法来保持旧模型的表征，同时有效地调整到新任务。所提出的方法估计了模型更新所产生的表征变化和损失增加之间的关系。它利用表征最小化了损失增加的上界，这利用了骨干模型内每个特征图的估计重要性。基于重要性，该模型限制重要特征的更新以获得稳健
乱搭巴士·2023-01-12 13:02

【论文笔记_知识蒸馏】Adaptive multi-teacher multi-level knowledge distillation

2020年的论文。摘要知识提炼（KD）是一种有效的学习范式，通过利用从教师网络中提炼的额外监督知识来提高轻量级学生网络的性能。大多数开创性研究要么在学习方法上只向一名教师学习，忽视了一名学生可以同时向多名教师学习的潜力，要么简单地将每位教师视为同等重要，无法揭示教师对具体例子的不同重要性。为了弥补这一差距，我们提出了一种新的自适应多教师多级知识提炼学习框架（AMTML-KD），这包括两个新的见解：
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏】Interactive Knowledge Distillation for image classification

摘要知识提炼（KD）是一个标准的师生学习框架，在训练有素的大型教师网络的指导下，培养一个轻量级的学生网络。互动教学作为一种有效的教学策略，在学校得到了广泛的应用，以激发学生的学习动机。在互动教学中，教师不仅提供知识，而且对学生的反应给予建设性的反馈，以提高学生的学习成绩。在这项工作中，我们提出了交互式知识提炼（IAKD）来利用交互式教学策略进行有效的知识提炼。在提取过程中，教师网络和学生网络之间的
乱搭巴士·2023-01-12 13:32

【论文笔记_自知识蒸馏_2021】Revisiting Knowledge Distillation via Label Smoothing Regularization

代码地址：https://github.com/yuanli2333/Teacher-free-Knowledge-Distillation摘要知识提炼（KD）旨在将繁琐的教师模型中的知识提炼为轻量级的学生模型。它的成功通常归功于教师模型提供的关于类别之间相似性的特权信息，从这个意义上说，只有强大的教师模型被部署在实践中教较弱的学生。在这项工作中，我们通过以下实验观察来挑战这一共同信念：1）除了承
乱搭巴士·2023-01-12 13:32

【论文笔记_知识蒸馏_2021】KNOWLEDGE DISTILLATION VIA SOFTMAX REGRESSION

代码地址:https://github.com/jingyang2017/KD_SRRL摘要本文通过知识提炼解决了模型压缩的问题。我们主张采用一种优化学生网络倒数第二层的输出特征的方法，因此与表征学习直接相关。为此，我们首先提出了一种直接的特征匹配方法，它只关注优化学生的倒数第二层。其次，更重要的是，由于特征匹配没有考虑到手头的分类问题，我们提出了第二种方法，将表征学习和分类解耦，利用教师的预训练
乱搭巴士·2023-01-12 13:32
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他